过潜溪寺有三个较大的洞窟，即宾阳北洞、宾阳中洞和宾阳南洞。宾阳北洞是从北魏开始修建，到唐代初年（公元641―650年）才完成的。宾阳中洞又叫宾阳洞，是北魏迁都洛阳后，*皇帝为孝文帝和文昭皇太后营建的二窟之一。在龙门石窟开凿中。据记载：自景明元年（公元500年）开凿，至正光四年（公元523年）才完成，历时达二十四年之久，共用人工八十万二千三百六十六个。宾阳南洞是从北魏开凿到唐代（公元595―616年）才完成的一个洞窟。