懷玉書(shū)院位于懷玉山金剛峰東麓，與玉琊峰相對，為江西上饒古書(shū)院之一。宋淳熙十五年（1188），朱熹在草堂講學(xué)，著(zhù)有《玉山講義》一卷。陸象山、呂東萊、汪應辰、程珙等均曾在此講學(xué)；王安石、楊億等留下了詩(shī)篇。自此，懷玉書(shū)院與當時(shí)四大書(shū)院齊名。明嘉靖三十六年（1557）江西提學(xué)副使王宗沐來(lái)縣視學(xué)時(shí)，廢法海禪院為懷玉書(shū)院，由此懷玉書(shū)院之名，再傳于世。元、明、清各代均有眾多名人來(lái)此講學(xué)，留有題詠。明萬(wàn)歷九年（1581）張居正當國，禁天下書(shū)院；天啟四年（1624）宦官魏忠賢進(jìn)一步飛書(shū)院；書(shū)院遂盡歸于僧。清乾隆七年（1742）重建懷玉書(shū)院，贖回田產(chǎn)。后經(jīng)同治三年（1864）、光緒十六年（1890）兩次修葺，書(shū)院總面積達1萬(wàn)余平方米，規模宏極一時(shí)。民國24年（1935）1月國民黨軍隊“圍剿”方志敏率領(lǐng)的工農紅軍時(shí)，把書(shū)院當做兵營(yíng)，繼而全部燒毀。
懷玉書(shū)院遺址為當今懷玉山場(chǎng)、供銷(xiāo)社、醫院、文化站、十家莊民居所在地。相傳原址古甜儲樹(shù)南邊底下，埋有古代寺僧被剿時(shí)窖藏的文物。書(shū)院遺址尚依稀可辨，泮池淤塞，泮橋已填為公路，傳為黑玉雕刻，朱熹手書(shū)的“懷玉書(shū)院”殘額尚存，“泮橋”、“一勺泉”石碑保存完整。位于芳潤堂遺址后有一顆朱熹當年手植的梨樹(shù)，被颶風(fēng)所折，根旁萌發(fā)一枝，今已合抱。