宰輔第位于余姚鎮南河頭保慶路，是明代大學(xué)士呂本(閣老)故居。呂本(1503一1587)，字汝立，號南渠、期齋，早年曾拜謝丕、倪宗正為師。嘉靖十一年(1532)中進(jìn)士，二十七年任南京國子監祭酒(大學(xué)校長(cháng))。次年廷推閣員，呂本被明世宗特選以少詹事的身份入內閣辦事。二十九年，晉升為吏部右侍郎兼東閣大學(xué)士。三十年晉禮部尚書(shū)。三十三年進(jìn)太子太保，兼文淵閣大學(xué)士。三十五年加少保，兼武英殿大學(xué)士，主管吏部事。次年晉光祿大夫，兼太子太傅。
宰輔第坐北朝南，沿縱軸線(xiàn)依次為門(mén)廳，轎廳、正廳、寶綸樓(御書(shū)樓)。每廳前均有圍墻，正廳前有門(mén)樓，把庭院一分為二，形成兩個(gè)庭院。里院中心有甬道，正廳兩側有套樓，外院東西兩側各有廂樓七間。
轎廳通面闊26米，分七間，明間脊檁枋上置一斗三升斗棋二攢，支撐脊檁。正廳通面闊20米，分五問(wèn)，高大空闊，明間脊檁枋上置平身科四朵，次間置三朵，都為一斗三升斗拱。脊檁枋上刻有簡(jiǎn)練的單線(xiàn)條卷草紋，平身科斗棋邊緣描有彩色線(xiàn)條，勾勒出斗棋輪廓。正廳之后經(jīng)過(guò)一座石墻門(mén)洞即是寶綸樓，是收藏欽賜書(shū)籍及攻讀詩(shī)文之所，原塑有御妹娘娘。正廳西邊為“落馬園”，“落馬園”正北即是“玉蘭堂”，是呂本出生處；東邊緊連“天官府”，是明代戲曲理論家、呂本的曾孫呂天成的出生處。
宰輔第現僅存轎廳和正廳，已難見(jiàn)昔日的榮華景象。
1987年l0月16日，宰輔第已由余姚市人民政府公布為市級文保單位。