魏了翁办学的故事，在这里流传甚广。有天他把鹤山书院的学生引到这里吟诗对句，魏了翁说：“今天，我以严将军骑象飞升为题，出个下联给你们对：‘象相祥自地升’”。学生们想了很久，对不上来。其中有个叫王万里的学生突然想起他曾梦见观音菩萨来到人间遍撒甘露，再连想到蝙蝠的蝠与佛、福同音，于是对道：“蝠佛福从天降”。魏了翁高兴地说：“对得好，孺子鹏程万里啊”！那年秋天，成都进行府试，只录取十名举人。魏了翁的学生去了十几个参考，就中了八人。楼中所挂藏对联、诗词以及关于“二魏三高”的生平介绍等文史资料，是研究魏了翁理学思想和教育思想的宝贵材料。