伴庄右衛門は江戸初期に活躍した八幡商人で屋号を扇屋といいます。寛永年間に東京日本橋に出店し、麻布・畳表・蚊帳を商いました。５代目の伴蒿蹊は１８歳で家督を継ぎ、大坂淡路２丁目に出店。学問にも興味を持ち、本居宣長、上田秋成、与謝蕪村らと親交のある国学者でもありました。　以後も、伴家は繁栄を誇りましたが、明治維新等の激動期に逆らえず明治２０年に終焉しました。

今に残る旧伴家住宅は７代目伴庄右衛門能尹が伴庄右衛門家本家として、文政１０年（１８２７）より天保１１年（１８４０）の十数年をかけて建築したものですが、明治時代になって当時の八幡町に譲渡してから小学校・役場・女学校と変遷しました。戦後は近江兄弟社図書館として使用され後に近江八幡市立図書館となり、移転に伴い平成９年にその役目を終了しました。その後の整備事業を経て、平成１６年４月より開館しました。