从石门涧逆溪水往山上走，过鳌鱼石、剪子峰，来到端坐着大佛的那座山峰前，这里有麻衣庵的残垣。据民国年间的《增修胶志》记载，晋代的陈仲举、元代的张清源、明代的赵麻衣等名士曾在这里隐居过。 庵后的峭壁上，有一悬空石室，室门凿得很精致，门高两米，顶为孤形，有石门框和石雕门槛。在离石室前约3米处有刻有莲花图的莲花石。《增修胶志》记载在石室与莲花石之间古有铁板桥连接，人可攀石蹬上莲花石通过铁板桥进石室。石室东侧的山壁上刻有“云逍庵”三字。石壁上还有李庆道等人署名的“玉泉观旨缘”石刻，又有元代大德四年（1301年）孙荣题写的“太清岩”刻字。 庵东侧有一巨石当地人称 “飞来石”，石前额刻“朝阳洞”三字。庵前还有“说法石”，石上有旗杆窝，石顶平敞可供10人端坐。在庵院墙外，有一石碾底，透出过去这里的人间烟火气息。庵西侧的高处有一平台，条石砌的建筑基础依然很规整。志书上和民间都说过去这里建有“望海楼”。