談仙石城位于南北湖風(fēng)景區(qū)西部談仙嶺上，海拔96．7米，是海鹽、海寧兩邑交界處，也是古代海鹽縣至省城杭州的孔道。
談仙石城形勢險(xiǎn)要，左右有兩山夾峙，南為南木山，北為北木山，西側(cè)為海寧黃灣諸山，東側(cè)為一長達(dá)三華里的山谷，只有一條崎嶇小徑，可供出入，從南北湖邊遠(yuǎn)遠(yuǎn)望去，大有“一夫當(dāng)關(guān)，萬夫莫開”之勢，故談仙嶺又有“江南八達(dá)嶺”之譽(yù)。
談仙嶺的嶺名與譚峭有關(guān)（古文談與譚通）。宋《澉水志》載：上有譚仙廟。相傳為南唐道家譚峭煉丹得道之處，至今留有仙人腳、石浴缸、煉丹井等遺跡。
談仙嶺是歷史上重要關(guān)隘，為歷代兵家必爭之地，
所以留下了許許多多有關(guān)抗御的膾灸人口的故事，明代嘉靖年間，海上倭寇不斷侵?jǐn)_打劫老百姓。戚家軍埋伏鷹窠頂、談仙嶺一帶，與倭寇短兵相接，數(shù)千倭寇葬身于此。當(dāng)?shù)孛耖g至今仍流傳著戚家軍英勇抗倭的故事。
清朝道光年間，倭寇再次燒殺擄掠。巡撫劉韻珂奉命在談仙嶺的要隘修筑石城，名曰談仙石城，清末漸廢。
1989年海鹽縣人民政府撥款重修歷時(shí)四載，形制依舊，計(jì)南北長72.4米，東西闊41.3米，高5.7米，城上建樓一座，城內(nèi)之徐行健將軍雕像和點(diǎn)將臺，城墻中空可儲(chǔ)兵。2000年上半年這座“天下第一小城”經(jīng)各方面專家的測量、公證評定，確認(rèn)談仙石城是目前我國最小的石城，入圍上海大世界基尼斯，同年被定為嘉興市國防教育基地。