胡公巖位于余姚勝歸山南坡。明嘉靖二十七年，胡宗憲任余姚知縣，有效地禁住了勝歸山開(kāi)鑿山石之風(fēng)。十年后，胡宗憲調任浙江總督，為抗倭多次來(lái)到余姚，屯兵勝歸山下，后人為紀念胡宗憲，特于嘉靖四十年在勝歸山南坡雕鑿胡宗憲官服像，故稱(chēng)之為“胡公巖”。勝歸山之所以成為游玩勝地，不僅是有幾個(gè)石孔而已，主要的還在于有著(zhù)明代、清代至民國先后雕鑿的巖崖雕像。勝歸山舊有劉將軍廟，祀東晉將軍劉牢之。到明嘉靖間，在廟前增建復初書(shū)院，雕鑿胡宗憲秉公斷案之像。后因歲久，廟與書(shū)院漸圮。至明萬(wàn)歷年間，有一僧人看中舊址，改建為禪院，依山巖雕鑿佛像，歷二十年竣工，稱(chēng)之為勝歸山廟。增鑿的佛像有袒胸露肚、捧腹大笑的彌陀佛，手執破芭蕉扇的瘋癲和尚濟公像，上面還有觀(guān)音大士像，曲腿盤(pán)坐蓮花寶座上，座下是浪濤翻滾的南海，有巨鰲游弋。東側有赤腳踏寶蓮臺的釋迦牟尼立像，以及橫眉豎眼的多尊羅漢立像，各高五米左右。這些佛像，造型生動(dòng)，神態(tài)各異，有較高的藝術(shù)水平。
胡公巖摩崖石刻于1981年6月被列入市級文物保護單位，2005年3月16日由浙江省人民政府公布為省級文物保護單位。