潘世恩宅位于城區(qū)臨頓路鈕家巷，原名留余堂，又稱太傅第。2006年被列為江蘇省文物保護單位。
潘士恩宅原有房屋三路六進，后部園林仍以鳳池園為名。如今園已廢毀，尚存住宅三路四進，占地2135平方米，建筑面積1484平方米。
歷史沿革：
潘世恩歷乾嘉道咸四世，在朝五十余載，官至三公，位極人臣，為清代漢臣中所罕見。潘氏一族高官顯宦多，為清代蘇州最為顯赫的家族，號稱“貴潘”，有“祖孫父子叔侄兄弟翰林之家”之譽。潘世恩是其中官階最高、任職最久的一位。留馀堂作為潘世恩故居，有一定歷史價值。
潘世恩(1769—1854)，字槐堂，號芝軒，清吳縣(今蘇州)人。乾隆五十八年(1793)癸丑科狀元及第，曾先后任工、戶、吏部尚書，官至武英殿大學士、軍機大臣，加太子太保，晉太傅。咸豐四年卒，謚文恭。嘉慶十四年(1809)，潘世恩為奉養(yǎng)父親潘奕基，購得鈕家巷顧氏鳳池園西部，修治為第宅，其子潘曾沂繪有《臨頓新居圖》。十九年，丁母憂回蘇，后又以父老乞養(yǎng)，在此居住十三年，潛心學問，著成《正學編》一卷、《讀史鏡古編》三十二卷。太平天國時期，英王陳玉成來蘇會見忠王李秀成，曾在此居留數(shù)日。
現(xiàn)存情況：
1982、2003年兩度整修。
正路原有三座鐫有清“康熙”年號的磚雕門樓，雕刻頗精，均毀于1966年。現(xiàn)有門樓為1982年所修，已非原貌。
2006年6月5日，潘世恩宅被公布為第六批江蘇省文物保護單位。