剑山明代已建有地藏殿，其址在今山顶高处，其山腰有玄帝殿，供玄武大帝，较地藏殿年代更早，后倾圯。王扬德《明五山志》载：“山巅有地藏殿，山半有玄帝殿，亦予所创者，”大概在明后期曾经王杨德的重修。清初顺治五十五年，郡人王穆涛曾重修剑山地藏殿。至清中叶时，山顶已有地藏庵（内有地藏殿）及其西北的药师殿，山腰在玄武殿基址建回龙庵及稍东下的朝阳庵。

剑山庙宇建筑因山势关系，数量不多，但风景很好。因山顶狭窄，东西均无阻隔，且山巅建庙与狼山遥遥相对，而其西南两面为长江，故较狼山而更易于观赏江景。山腰朝阳庵前临悬崖，东望朝阳，景色更佳。