牛首山是佛教圣地。山上原有六朝古刹“弘觉寺”，后毁。西峰下有一深邃岩洞，相传南朝刘宋大明年间，高僧辟支在这里修行得道，“立地成佛，上天为仙”，所以这个洞叫做“辟支佛洞”，或称“仙窟洞”。南朝萧梁天监二年（503），司空徐度在这里建寺，名叫“仙窟寺”或称“佛窟寺”，后毁。唐代贞观年间，法融禅师在牛首山南的祖堂山修行得道，创立“牛头宗”，佛书称为“江表牛头”，因此牛首山是佛教南宗“牛头宗”的发祥地。古金陵四十八景有三景在此，“牛首烟岚、祖堂振锡、献花清兴”，而且南京地区有春牛首、秋栖霞的风俗习惯。