吳氏中丞第坐落在麻巷54號。該宅原主人吳光悅，字星一，號見樓，清嘉慶元年（1796年）進士。由中書入直軍機，擢升御史，官至江西巡撫。縣志記載，光悅任河南省河北道時，適逢河堤潰決，乃親駐河工處，日夜巡視，督促防汛，立簿記錄情況，對五百里堤形安危，了若指掌，河督曾將其經驗作為各地表率。調任江西巡撫，又逢積雨成災。奏請截留漕米8萬石，以解決災區(qū)民食問題。后因積勞病故于任上，終年73歲。
這座中丞第是他任江西巡撫時所建。時值“乾嘉盛世”，所以取材、設計都比較講究。每一進屋都由低向高，拾級而上，取“步步高升”之意。此外，每進廳屋大門都略有偏差，以免一望到底，式樣獨特。
該宅前后共五進，正、偏、廂房、樓、堂等近百間。后面大花園占地近3333.5平方米。進大門，梁上懸有“中丞第”匾額一塊。第二進為轎廳。第三進為大廳，寬12.9米，進深14.4米，高9.1米，正中有嘉慶帝所書“福”字匾，匾旁懸有安放圣旨的金漆木盒。四進、五進為家屬住屋。后花園內疊有假山，樹木成蔭。現“中丞第”園林已毀，屋宇尚完好，保存了清代府邸建筑的風貌。現房屋部分為吳氏后裔居住，正廳已由麻巷居委所用，其他均為居民住宅。
20世紀90年前，辛亥革命元老、光復后武進縣首任民政長屠寄即賃屋于此。屠寄（1856～1921），又名庾，字敬山，光緒十八年（1892年）進士，曾任翰林院庶吉士，研究元史，造詣甚深，在這里完成了他《蒙兀兒史》的編著，并終老于此。晚清小說《九尾龜》的作者張春帆也曾居此。1987年12月列為市級文物保護單位。