潕溪書(shū)院始建于明正德年間（1506—1521年），原名沅溪書(shū)院，由苗族教育家吳鶴創(chuàng )建。吳鶴是明代苗族儒士、教育家，湖南吉首（鎮溪）人。曾隨大思想家王陽(yáng)明游學(xué)江西，為其著(zhù)名弟子。耿直不阿，不樂(lè )仕途，拒官不就，堅持在鄉里設館辦學(xué)，為唐宋以來(lái)苗族第一代漢文化知識分子。后人為其建祠立碑，開(kāi)設沅溪書(shū)院以為紀念。
清乾隆三年（1738年），乾州廳同知王瑋在書(shū)院內設立義學(xué)，聘請常德龍陽(yáng)舉人龍升明講學(xué)，高朋滿(mǎn)座，人才濟濟，盛況空前。乾隆三十八年（1773年）書(shū)院改建。乾隆六十年（1795年）苗民起義，書(shū)院被毀。光緒年間，在外做官的徐鳳翔為給家鄉子弟營(yíng)造讀書(shū)環(huán)境，募集股金籌建書(shū)院，其中一股作為“文昌會(huì )”經(jīng)費，仿照長(cháng)沙岳麓書(shū)院規模建造書(shū)院，光緒十八年（1892年）落成。戊戌變法后，廢書(shū)院設學(xué)堂，1936年，國民政府在此創(chuàng )辦“湘西特區師資訓練所”，成為公立學(xué)校。此后一直為師范學(xué)校所在地，原有書(shū)院建筑得以保存。“文革”期間，部分建筑遭到破壞。20世紀80年代，潕溪書(shū)院被列為湖南省重點(diǎn)文物保護單位，對建筑進(jìn)行了維修。1999年，全校師生集資重建已經(jīng)被毀的文昌閣，書(shū)院原貌得以基本恢復。
書(shū)院嚴謹的建筑群體，是社會(huì )群體意識的表現，反映了“禮樂(lè )相成”的思想。一般而言，每所書(shū)院都有包括講堂、齋舍、書(shū)樓、祠堂的建筑群，體現書(shū)院講學(xué)、藏書(shū)、供祀的“三大事業(yè)”。潕溪書(shū)院建筑群力求中軸對稱(chēng)的理想布局，以居中為尊；通過(guò)軸線(xiàn)層次序列，以別尊卑、上下、主次、內外，達到由序達敬的目的；又通過(guò)不同特點(diǎn)的庭院天井的空間組合，達到以和至親的目的；以此形成一個(gè)序中有和、和中有序、和序統一的整體。建筑布局分為前院，主院和后院。前有大門(mén)、前廳，前廳之后是前院，庭院比較寬敞，院中綠樹(shù)成蔭。進(jìn)入主院內是講堂、藏書(shū)樓等教學(xué)建筑，左邊有魁星閣。后庭院內主要是為祭祀而設的建筑文昌閣和大成殿，分奉文昌帝君和先師孔子牌位，每年祭祀。后部庭院左右兩邊分別為教師宿舍和學(xué)生宿舍，最后一進(jìn)為后門(mén)。