始建于清代乾隆二年（1737年），该院为南宋朱熹与陆九渊曾经讲学过的崇正书院遗址。书院右侧“先儒祠”是清代生员祭祀乡贤象山先生之所，现书院建筑面积1078平方米，构架保存完整，是江西省省级保护文物、县文博所办公之处。

陆象山，名九渊，字子静，南宋金溪青田人，是与朱嘉双峰并峙的理学大师、中国“心学”的创始人。明代王阳明发展其学说，成为中国哲学史上著名的“陆王学派”，对近代中国理学产生深远影响。现经文化行政部门批准，仰山书院成立了“陆九渊纪念馆”，长期展出陆九渊生平图片，收藏了各种版本的《象山全集》和各地吟咏象山的诗、词、楹联等。