始建于明万历三十四年（1606年）据说修寺中资金发生困难，眼看就要半途而废，施工主人们想再出远方化布施。晨起，在院中发现两骆驼，背负重囊，朝东而卧。邑人们认为是行脚驼峰，驼主会来赶走。迟至日中，未见驼主，始派人到处寻找，夜幕降临，未见赶走，于是有人解囊启袋，发现满是白银，约有九千余两。得此银后加快了进度，增建了殿堂。竣工后为寺命名时，人们以为如无西来之资，此寺难以完工，今能完工实乃西主资助之力。故定名“西来寺”。另一传说曰，有人在河边拾得一铜佛，为之建寺，特名为“西来寺”。

寺坐北面南，由山门、过厅、东西两厢和大殿组成。山门面宽3间，进深1间，中为门廊，东西两旁分设泥塑四大金刚；过厅和东西两厢，为硬山式木作结构，内供观音、土地神。大殿面宽5间，进深3间，单檐歇山顶，矗立在台基上，雄伟壮观。大殿周檐斗栱繁缛，昂嘴下突，具有明代建筑的典型风格。大殿内原有泥塑圆雕的三世佛，中间是释迦牟尼，两边是文殊和普贤，还有阿难、迦叶、比丘等。东西两山墙上八大供养菩萨，端坐在莲花须弥座上，神态安详，栩栩如生。墙面上浮雕的山水、人物、建筑等，小巧玲珑。