清道光二十年进士杨以增所建，总计藏书22万。它与江苏常熟县翟绍基的“铁琴铜剑楼”，浙江吴兴县陆心源的“宋楼”，浙江杭州丁申、丁丙的“八千卷楼”合称清代四大藏书楼，因之又有“南翟北杨”的美称，深为海内外学者所仰慕。海源阁藏书楼位于光岳楼南万寿观街路北杨氏宅院内，为单檐硬山脊南向楼房，面阔三间，上下两层，下为杨氏家祠，上为宋元珍本及手抄本等秘籍收藏处。藏书楼上层中间门额上悬挂“海源阁”阳言语匾额一方，为杨以增亲书，额后有杨以增自题跋语。 海源阁藏书浩瀚，是杨氏四代人潜心搜集的结果。杨氏第四代人杨保彝编著《海源阁宋元秘本书目》及《海源阁书目》计有208300卷有余。另有不载于书目者尚多。