这里天然的几个石人或高或低，依次站成一排，《五人岭》三个大字是著名书画家钟长生先生所题。 相传，很久很久以前，一伙强人在林海出没，打家劫舍，无恶不作。有一天，他们聚集在一起谋划抢劫山下一个村庄，被山坡上吃草的小牛听见。小牛告诉了庄主，于是，庄主在村口备酒以待。 席间，强人问庄主，何以得到消息？庄主以实相告，强人不信，牵牛而问，小牛便说：我前世原本是个恶人，欺此村庄的人家老实，时常借多还少或借物不还。因此，触犯天条，玉帝降旨，罚我变成小牛来此还债，算来已有三百年了。 今日，我的期限以满。尔等听我良言，早日放下屠刀，免得他日报应。 言毕，众强人大惊失色，有十八人悔悟，背起小牛到险峰出家。祖山的另一景区《背牛顶》因此而得名。 其中，五人执迷不悟，继续行凶作恶，一日，打劫回来，行到岭上，被巡行的太上老君发现，上报玉帝，命雷神电母将其击成石人。 在此路边站立已有千千万万年。 就在一九七六年的九月，二郎神来此云游，过问此事，发现其中一人，罪行较轻，上报玉帝，赦免了一个。 所以，过去的《五人岭》，现在只剩下四个人了。