公元1368年，朱元璋建立明朝，创设了卫所制度。鉴于金山沿海地区战略地位的重要，洪武十七年，明太祖朱元璋命信国公汤和与安庆侯仇成偕方鸣谦巡视浙江沿海，找一个地方建城。几经筹备，于洪武十九年（公元1386年）在滨海的盐业集镇小官镇筑城设卫，因与海中金山相望，故名金山卫，人们称小官镇为卫城。金山卫城刚开始建造时是个土城，永乐十五年（公元1417年），城墙改为砖结构，除月城楼外，有正门楼4座、水关门2座、角楼4座、箭楼48座。成化三年（公元1467年），又改为石砌结构，其坚固程度甚于一般的府县城，人们曾给它以“石头城（南京）”的美誉。当时全国有36卫，金山卫与威海卫、天津卫、镇海卫列为四大名卫。