潘世恩宅位于城區臨頓路鈕家巷，原名留余堂，又稱(chēng)太傅第。2006年被列為江蘇省文物保護單位。
潘士恩宅原有房屋三路六進(jìn)，后部園林仍以鳳池園為名。如今園已廢毀，尚存住宅三路四進(jìn)，占地2135平方米，建筑面積1484平方米。
歷史沿革：
潘世恩歷乾嘉道咸四世，在朝五十余載，官至三公，位極人臣，為清代漢臣中所罕見(jiàn)。潘氏一族高官顯宦多，為清代蘇州最為顯赫的家族，號稱(chēng)“貴潘”，有“祖孫父子叔侄兄弟翰林之家”之譽(yù)。潘世恩是其中官階最高、任職最久的一位。留馀堂作為潘世恩故居，有一定歷史價(jià)值。
潘世恩(1769—1854)，字槐堂，號芝軒，清吳縣(今蘇州)人。乾隆五十八年(1793)癸丑科狀元及第，曾先后任工、戶(hù)、吏部尚書(shū)，官至武英殿大學(xué)士、軍機大臣，加太子太保，晉太傅。咸豐四年卒，謚文恭。嘉慶十四年(1809)，潘世恩為奉養父親潘奕基，購得鈕家巷顧氏鳳池園西部，修治為第宅，其子潘曾沂繪有《臨頓新居圖》。十九年，丁母憂(yōu)回蘇，后又以父老乞養，在此居住十三年，潛心學(xué)問(wèn)，著(zhù)成《正學(xué)編》一卷、《讀史鏡古編》三十二卷。太平天國時(shí)期，英王陳玉成來(lái)蘇會(huì )見(jiàn)忠王李秀成，曾在此居留數日。
現存情況：
1982、2003年兩度整修。
正路原有三座鐫有清“康熙”年號的磚雕門(mén)樓，雕刻頗精，均毀于1966年。現有門(mén)樓為1982年所修，已非原貌。
2006年6月5日，潘世恩宅被公布為第六批江蘇省文物保護單位。