長光寺の始まりは、聖徳太子が老蘇の森に仮官された時、高階の妃は御難産でしたので、太子は妃に「仏法を信じ仏の加護を祈りなさい」とお諭しされます。妃はひたすら諸仏の慈悲を仰がれた所、西南の方より仏の使いが来て、「汝が願いは、正しく観世音が救い給う」と言って、仏の使いは飛びさり、妃は安産されました。
太子が使いを派遣された所、この地に八尺の香木と五色に輝く霊石がありました。後に太子は、香木で千手子安観世音菩薩を作られたのが、このお寺の始まりです。
古くは武佐寺とも呼ばれ、南北朝の乱期には、後光厳院が３度行幸している。後に、１２代将軍”足利義晴が京乱を避け当寺に居留している。永禄・元亀の兵乱で焼失したが、寛永期に領主松平定綱が再興した。