佛归寺位于县城南4公里处的山沟内，是国家AA级临洮县岳麓山森林公园的主要组成部分。

从谷底迎着溪流徒步上紫云山，一路潺潺之声清晰可闻。随着山势的变化，溪流时而急，时而缓，时而宽，时而窄，与小溪傍依的紫云山高耸突兀，气势非凡，险要之处如同刀削斧砍，赭红色的山体裸露无遗，山上树木葱茏，枝繁叶茂，遮天蔽日。据《搜神记》第六卷记载：“秦始皇二十六年，有长人长五丈，足履六尺，皆夷狄服，凡十二，见于临洮”。传说十二长人因体长，难入临洮县城，于是南行，人们好奇追随，追至城南紫云山前，长人一晃不见踪影，追随者更为好奇，从紫云山寻找，在紫云山平台发现“长人”足印，而不见“长人”，因而认为仙归于此，从此紫云山香火不断，声名远播，自唐代始，有人开始在紫云山上修建寺庙，名曰“佛归寺”。

佛归寺为佛道合一的石窟寺庙，据《临洮县志》记载：“佛归寺（乡人又称佛沟寺）内有栖霞阁，系明解元潘光祖读书处，有十八罗汉造像，石窟中有唐代壁画，‘文化大革命’中遭毁。”现遗留古迹有达摩洞和少许壁画。改革开放后群众自发性恢复建设，现有三大古佛殿、十二法王殿、睡佛殿、三清观、混元阁、文昌阁等大小寺庙十几处，常年有人供奉管理和维护。

据民间流传，紫云山佛归寺还有“巨蟒不足惧，飞龙甚可忧，事不过三，刘伯温三斩龙脉”，“三步一回头、九九佛皈依”等古代神话传说。这些神话传说给佛归寺增添了许多神奇色彩，一直以来，这儿香火旺盛，尤其是每年农历四月十八的山会，方圆十余里的善男信女纷沓而至，颂经拜佛，佛事盛况很是隆重。同时，紫云山地形奇特，三山环抱，自然形成一个峡谷地带，山道呈“鸡冠”形，悬崖峭壁处处，加之这儿山壑清幽，溪水淙淙，植被甚好，被当地人称为“小华山”。