相传三国时，印度高僧那罗延飘洋过海来到五磊山牛角峰山洞，叠石作墙，面壁参禅，其初修洞穴，世称“祖师洞”，今遗址尚存。东吴大帝孙权之母念其传道虔诚，就在象王峰南麓筑起一座小小寺院，可见五磊寺历史悠久。
　　千余年来，五磊寺历朝改名，几经毁建。唐文德年间（888年），朝廷尊佛，迎来不少僧人传经，名为“灵山禅院”。北宋大中祥符初年（1008年），由真宗敕赐“五磊普济”寺额。以后由云门宗六祖智环禅师任主持，广收门徒，成为浙东名刹。明朝永乐年间，册定全国寺名，名五磊禅寺，从此名声大振。清顺治二年（1645年），天童寺住持弘觉禅师主五磊寺后，寺院又一次修葺一新，四方僧众，闻名而集，香火极盛。到康熙年间，已有殿堂楼阁300余间，相传五磊五峰，峰峰有茅篷，引来多少文人雅士纷纷留诗吟咏。清宣统三年（1911年），天台宗谛闲法师莅寺主诗讲席，改名“灵山讲寺”，成为宁波地区最早的天台宗道场。民国初年（1914～1921年），寺院重建大雄宝殿、弥勒殿等80余间。1931年，弘一法师（李叔同）拟在此创设“南山律学院”，因与住持意见不合而未能如愿。抗日战争时期，寺院成为中共浙东区党委和浙东游击队在三北活动的重要场所，寺内僧众为革命斗争提供了不少方便。
　　1985年5月，寺院重新修复开放，赵朴初题写“五磊讲寺”匾额，千年古刹又重新成为引人注目的佛教胜地。