余姚歷史悠久，人文会萃，素有 " 东南名邑 " 、 " 文献名邦 " 之誉。同时，既是道家洞天福地，又多释教梵宫宝刹。隋唐以来，更有不曾出家之信士，在家念经拜佛，修身养性。至西元 1934 年，姚城知名士绅李少坦先生发起筹建佛教居士活动场所。得到王愧南、毛契农、张星极、张啟釗、孙丽章、毛存儿（女）等当地名士热心支持和赞助，在北城金锁桥南（今阳明东路、劳动路交匯处之工人文化宫）建成由主楼、厢房、水池、假山、花圃组合的大院，定名為 " 余姚佛教居士林 " 。二十几年间，一直成為居士们讲经诵佛，举办善事的处所。至上世纪五十年代后期，按政府通知暂停活动。
　　中共十一届叁中全会后，县、市政府落实党的宗教政策，鉴虞居士林原址已改作他用，由施笔炎、孙伯莹等居士发起重建佛教居士林，并虞 1995 年在胜归山南鹿落成，重新开展正常的佛事活动。但是，由虞胜归山新址建筑面积较小，不能适应日益增多的居士们的活动，同时与胜归山西元整体佈局不相协调，虞是， 2005 年夏，由居士孙儒堂、虞建斐等组成的筹建小组提出了移地建设方案，得到市政府宗教主管部门同意并报经上级宗教主管部门批復。准予在南城黄山公园选址新建。在政府各有关部门大力支持下 , 在十方居士热心赞助下 , 新的佛教居士林建筑工程正顺利进展之中 , 一个规模可观的佛教活动场所、一个风格典雅的游览景点，即将展现在浙东姚江之滨。还望海内外广大佛教善信，慷慨解囊，共襄盛举，以期“唯我净域，出要良津，胜业可久，辉光日新。”（唐贤虞世南语）