胡公巖位于余姚勝歸山南坡。明嘉靖二十七年，胡宗憲任余姚知縣，有效地禁住了勝歸山開鑿山石之風。十年后，胡宗憲調任浙江總督，為抗倭多次來到余姚，屯兵勝歸山下，后人為紀念胡宗憲，特于嘉靖四十年在勝歸山南坡雕鑿胡宗憲官服像，故稱之為“胡公巖”。勝歸山之所以成為游玩勝地，不僅是有幾個石孔而已，主要的還在于有著明代、清代至民國先后雕鑿的巖崖雕像。勝歸山舊有劉將軍廟，祀東晉將軍劉牢之。到明嘉靖間，在廟前增建復初書院，雕鑿胡宗憲秉公斷案之像。后因歲久，廟與書院漸圮。至明萬歷年間，有一僧人看中舊址，改建為禪院，依山巖雕鑿佛像，歷二十年竣工，稱之為勝歸山廟。增鑿的佛像有袒胸露肚、捧腹大笑的彌陀佛，手執(zhí)破芭蕉扇的瘋癲和尚濟公像，上面還有觀音大士像，曲腿盤坐蓮花寶座上，座下是浪濤翻滾的南海，有巨鰲游弋。東側有赤腳踏寶蓮臺的釋迦牟尼立像，以及橫眉豎眼的多尊羅漢立像，各高五米左右。這些佛像，造型生動，神態(tài)各異，有較高的藝術水平。

胡公巖摩崖石刻于1981年6月被列入市級文物保護單位，2005年3月16日由浙江省人民政府公布為省級文物保護單位。