灵安寺有个传说，是关于安平桥的。
话说当年僧祖派倡建安平桥，想出无数筹集资金的办法，但依然无法得到很好解决，建桥资金捉襟见肘。但是，尽管如此，僧祖派依然四处游说，以期筹到更多资金，完成筑桥大业。他的行动感动了观音菩萨，决定帮助于他。
于是，观音菩萨化身成一位美女，对街上来来往往的行人说：“若是有人能把银钱扔到我身上，我就以身相许，做他的妻子；若是银钱掉在地上了，那么，将这些钱集起，做为建桥资金！”此话一出，自然惊动四方百姓，纷纷奔走相告，前来投钱。
可谁知道，这些银钱纷纷落地，一个子也没投到观音菩萨身上，瞬时间堆积成山。观音菩萨却越站越高，越变越美！这更激起乡民的兴奋，更多有钱的商家富贾由四面八方涌来，拿出大把银钱向上投掷！
后来这事让吕洞宾知道了，他也是来看热闹的，但仙家一眼就认出观音菩萨的化身。吕洞宾不知所以然，以为观音菩萨贪财，有意要戏弄于她，便找来一位年轻人，向他要了一文小钱，往钱上吹了一口仙气，然后让那年轻人去投掷。
结果，一投而中！
观音菩萨知道吕洞宾存心作恶，心里惹火。但当着众人的面又不好惩戒于他，于是抽身就走。谁知那年轻人见自己投中的美女跑了，也拨腿就追。
身化凡胎的观音菩萨见年轻人紧追不舍，实在没有办法，只能越跑越快！当她跑到大盈村时，看看实在甩不掉了，就摇身一变，变成一尊黑脸的观音大士。后来，乡民知道这是观音菩萨为了普渡众生所做的善举，便在她化身的地方，修建了一座观音寺。