桂齋在荷亭西北側，原為皇華亭故址。
新建的“桂齋”由前后兩院組成，北院為桂齋正廳和“林文忠公讀書(shū)處”組成，庭院西側有游廊和碑亭。南院為假山魚(yú)池，有六角亭及石拱橋各一。
桂齋東面院外為禁煙亭，建于民國十八年（公元1929年）六月，平面正方形，四角方形混凝土柱，西式疊澀檐口，攢尖頂，是1949年前留下的唯一建筑。
清道光九年（西元1829年），福建布政使程含章見(jiàn)屏山原李綱祠破敗不堪，“心竊傷之”，遂募集資金欲重建。時(shí)林則徐丁父憂(yōu)在家守制，受托主持西湖疏浚工程，程含章與林則徐商議后，選西湖荷亭舊址，興建新的李忠定公（李綱）祠，并附建紀念李綱讀書(shū)處的“桂齋”。建成后留有程含章撰稿，林則徐手書(shū)《新建宋李忠定公祠堂記》。“桂齋”為李忠定公祠的花廳，取李綱晚年住所為名，并植桂花兩株。
林則徐曾語(yǔ)于親故：不求身后立祠，但得配祀李忠定公祠足矣。道光三十年（西元1850年）林則徐卒，翌年，州人奉其遺像祀于桂齋中。
光緒三十一年（西元1905年），澳門(mén)路林文忠公祠成，此處改稱(chēng)“林文忠公讀書(shū)處”，并篆書(shū)石刻嵌于墻上。
民國十八年（公元1929年）又在齋旁建室一間和禁煙亭一座。
1949年以后，尤其是文革-時(shí)期，李忠定公祠和桂齋被毀。
1961年公布為福州市第一批市級文物保護單位。