五桂楼坐落在梁弄下街洞门弄，是一幢二层三楹木结构清建筑，系里人黄澄量为藏书而建造的。黄的先祖颇有雅名，南宋时，五兄弟同中进士，同朝为官，衣锦还乡时，宋高宗赠 《 送五子还乡 》 诗中有“仙藉桂枝香”句，而取名“五名楼”。

五桂楼有五马山墙以防风火，前后有四米高的围墙，围墙东西两侧有大门，西侧为正门。进门便是卵石砌成的庭院，石刻木雕，花草竹木使庭院绿荫婆娑，花香袭人，灰尘不蒙，市声不喧，显得幽静，古朴、清雅。楼下为三楹统间前后分隔，前厅为讲学会文之所，后厅是楼梯，楼上有书橱二十四架，藏有5万多卷古书善本，名画碑贴和手抄本，有木雕板近百块，屋顶呈“众”字形，有暗阁，明看二层，实为三层。据传，凡遇战乱，善本多藏千顶上暗阁，暗阁中至今仍保留有“柱百竿”一根，长9.8米，竹竿上记着当时建楼的各种尺寸数据和梁架构件的符号，似现代的建筑图纸。登五桂楼眺望，可一览四明七十二峰，故五桂楼又名七十二峰草堂。现悬挂的“五桂楼”匾额为清代书法家胡芹所书，“七十二峰草堂”为清代书法家吕屐山所题。五桂楼有一套比较严格而独特的藏书保管制度，所以，它藏书之丰，在浙东仅次于宁波天一阁，有“浙东第二藏书楼”之称。现为省重点文保单位。五桂楼西侧原有书房两间，名曰“爱吾庐”，后扩建为五间，雕栋画梁，卷蓬饰顶，建造讲究，名称“梦花书屋”，与五桂楼相互辉映，为黄澄量居室和会友、写书之所。东侧有平房五六间，为当时工匠雕板印书所用。另建有厨房和家人居室，周围圈以围墙，庭院有卵石砌面，形成一古朴优雅的建筑群落，典型的江南书香门第。