杭城上城區馬坡巷16號最初是清朝桐鄉貢生汪淮所購的中式宅院，園內原有水池、三曲橋、假山等。因傳聞北宋大書(shū)法家米芾之子在此留有遺址，便以“小米”二字定名，稱(chēng)“小米山房”(俗稱(chēng)小米園)。
清乾隆五十三年(1788)軍機處行走龔禔身辭去朝官，回家鄉杭城后，正值汪家敗落，趁機買(mǎi)下小米山房為終老之所，孫子龔自珍就在小米園出生并求學(xué)。龔自珍的父親龔麗正，精于史學(xué)，著(zhù)有《國語(yǔ)韋昭注疏》等；其母親也是通書(shū)達理的大家閨秀；外祖父段玉裁更是精通文字學(xué)，重要著(zhù)作有《說(shuō)文解字注》、《毛詩(shī)詁訓傳》、《古文尚書(shū)撰異》、《六書(shū)音均表》、《周禮漢讀考》、《儀禮漢讀考》、《經(jīng)韻樓集》等，學(xué)問(wèn)精深淵博。當龔麗正于嘉慶年間考取進(jìn)士不過(guò)幾年，敬身、自珍及藻身這三個(gè)兒子相繼中舉，并在道光年間也先后考中進(jìn)士，三兄弟并稱(chēng)為杭州“東城三龔”。
龔自珍不僅出生在杭城，而且晚年有段時(shí)間回歸故里，主持過(guò)杭州紫陽(yáng)書(shū)院。小米園歷經(jīng)數百年后衰敗，僅存殘園和一廳。1988年進(jìn)行修復，將該園辟為“龔自珍紀念館”對外開(kāi)放。占地六百多平方米，兩層樓房，上下五開(kāi)間，兼有耳房，雕梁畫(huà)棟，古樸典雅。館內正廳安放龔自珍半身古銅色塑像，四周懸掛沙孟海、趙樸初等名家提寫(xiě)的匾額、楹聯(lián)。四個(gè)展室，陳列了龔自珍生平圖文簡(jiǎn)介、大事年表、史料、龔氏年譜、詩(shī)選和后人研究文集等。庭院內小橋流水、假山亭榭，在花木襯托下，富有江南園林的特色。紀念館大門(mén)朝東，石庫門(mén)上方鑲著(zhù)一塊石匾，刻著(zhù)“龔自珍紀念館”六個(gè)字，由趙樸初先生題寫(xiě)。門(mén)外立有一塊石碑，上刻“杭州市市級文物保護單位：小米園”，進(jìn)馬坡巷一百多米就能見(jiàn)之