明末，宏村人在南湖北畔建六所私塾，又称“依湖六院”，以供子弟授业解惑。清嘉庆十九年（1814年），将依湖六院合并重建，取名以文家塾，亦名南湖书院。是所具有传统徽派建筑风格的古书院。由志道堂、文昌阁、启蒙阁、会文阁、望湖楼、祗园六部分组成。“志道堂”系先生讲学之场所。“文昌阁”奉设孔子文位，供学生瞻仰膜拜。 “启蒙阁”乃启蒙读书之处。会文阁供学子阅鉴四书五经。“望湖楼”为教学闲暇观景休息之地。祗园则为内苑。书院前临一湖碧水，后依连栋楼舍，粉墙黛瓦、碧水蓝天、交相辉映。 曾任大清内阁中书汪康年，民国时期驻英、日公使、代理国务大臣汪大燮，当代著名科学家，澳星发射研制专家之一李小娟等一批著名学者均启蒙于此。1998年南湖书院被公布为安徽省重点文物保护单位。