不肯去观音院，位于紫竹林，紫竹林是观音修道的地方。在潮音洞旁，有一堵黄色矮墙围着三间质朴的佛堂，佛堂中终年香烟缭绕，这就是不肯去观音院，可乘坐1号线到“紫竹林”下车。不肯去观音院于1980年得以重建。唐朝时期，日本僧人慧锷入唐求法，从五台山请回观音像一尊，欲回到本国供奉，谁知在宁波登船时，原本较轻的圣像突然变得沉重无比，须几个人才能抬到船上，船行至普陀山，又遇怒涛翻飞，船身触礁，只好漂流到潮音洞暂泊。慧锷夜间梦到一胡僧说：“把我安置在此山，就会有风送你回日本。”慧锷于是领会了观音不愿东渡，便在岸上搭建茅舍供奉圣像，后有一张姓居民舍宅供奉观音像，这就是后来的“不肯去观音”。1980年，为纪念慧锷等人事迹，在潮音洞上建了“不肯去观音院”，殿院小巧精致，风光旖旎。2002年，普陀山佛教协会在其西侧筑一长廊，内塑日本33座供奉观音的寺庵主尊。称为“日本三十三观音灵场”。