堂名源自北宋元丰二年（1079年），高僧圆照禅师在瑞光禅院开坛讲经，讲得博宏精微、出神入化，出现塔放瑞光，法鼓自鸣，白龟听禅，枯竹爆青之“四大祥瑞”，于是人们将圆照讲经处命名为“四瑞堂”。

四瑞堂屡废屡建，现在的四瑞堂坐落在瑞光塔正西面，为仿宋式单檐歇山顶四面厅，台基为双层高台，有回廊，建筑面积208平方米，总体形式庄重古朴。著名书法家吴羊攵木书写“四瑞堂”匾额悬挂堂正中。崔护撰并书“四瑞堂联”：“缅怀当年，绀宇甘露，白龟听经，翠竹欢合，红罄自鸣，青史常留释界；试看今日，古塔凌宵，瑞堂端踞，丽楼耸秀，文阁临流，美名远播寰。”四瑞堂内置大型红木落地屏，正面刻有沈炳春画的《盘门盛景图》，背面刻有苏州著名书法家瓦翁书写的清初学者徐崧游瑞光禅院后作的两首五言律诗。