虹饮山房位于严家花园东200米处，是清代乾隆年间苏州近郊著名园林，因为门对香溪，背靠灵岩，“溪山风月之美，池亭花木之胜”远过于其它园林，所以乾隆皇帝每次下江南游木渎的时候，必到虹饮山房。在这里游园、看戏、品茗、吟诗，直到夜色降临，才依依不舍，顺着门前的山塘御道，返回灵岩山行宫。因此，虹饮山房在当地又被称为乾隆皇帝的“民间行宫”。

虹饮山房现存许多与乾隆相关的遗迹遗物。山房门前是御码头和御碑亭。乾隆十六年（公元1751年）春天，乾隆首次南巡，御舟经过运河，转胥江，折入香溪，在此舍舟登岸。乾隆喜好游山玩水，舞文弄墨，所到之处，必赋诗题字。当他见到这条山塘古道幽奇古绝，不由诗兴大发，当即口占七律一首。后来，这首七律被当地官员镌刻于碑，置于亭内，与对面的明代怡泉亭两相映照，成为古镇一大景观。当年，乾隆皇帝住在灵岩山行宫，而那些词臣随扈则住在虹饮山房。据信史记载：刘墉曾二度下榻虹饮山房，与主人徐士元相交默契，虹饮山房的匾额及花厅内“程子四箴”的横批，就是刘墉赠给徐士元的。

在这里，既可近揽水影鸟语，远瞩灵岩山色，还可聆听西墙外千年古刹明月寺的隐隐梵铃，令人心旷神怡，仿佛置身于尘外仙境一般。