出遐园西行，不远处又可见一组古朴的建筑，端庄肃穆，这就是稼轩祠堂了。这里原为清光绪三十年（公元1904年）建的李鸿章生祠，民国初年改作他用，1961年改建为稼轩祠，用以纪念南宋爱国英雄、豪放派词人辛弃疾。

稼轩祠坐北朝南，由南向北三进院落，建在一条中轴线上。大门之外，两尊石狮雄踞左右，大门悬匾额“辛弃疾纪念祠”，为陈毅元帅题写。门外有黑色照壁，门内立太湖石作为屏障。左右各有三间厢房，红柱架厦。北侧为三间过厅，厅内陈列当代名人叶圣陶、臧克家、吴伯箫、唐圭璋等人咏赞辛弃疾的诗词、字画。院内国槐郁郁，牡丹飘香。穿过过厅为二进院落，两侧是抄手半壁游廊，与正厅相通。正厅门楣上悬匾额“辛弃疾纪念祠”。楹柱有联为“铁板铜琶继东坡高唱大江东去，美芹悲黍冀南宋莫随鸿雁南飞”。楹联与匾额皆为郭沫若撰书。厅内正中为辛弃疾塑像，四壁悬挂名人字画，玻璃橱柜中，陈列有关辛弃疾的各种版本的书籍。院内植青松、银杏、石榴、月季等花木。正厅之后为第三进院落，北临湖滨，是供游人休息赏景的地方。所有建筑都有游廊相连。西廊壁饰有扇面、海棠叶、六角及圆形等各种透窗。北端游廊为二层，上层通“临湖阁”。东廊向北诸级叠升，直达阁上。每叠平台均由假山石堆砌。中段台上建小亭，供登楼中途稍憩。阁为两层，上建凉台，下设茶座，楼上楼下皆可观赏湖景。院内槐荫匝地，竹掩秀石，十分清雅。阁北水边有七曲石桥，蜿蜒湖中。石桥末端，有亭翼然，六角攒尖，名九曲亭，又名藕亭。这里曲桥漾波，方亭临水，垂柳弄影，芙蕖送香，大有辛弃疾田园词中江西带湖的风韵。