望海堂建筑在閭山絕頂，原砌有高約五米的基臺，修建兩層殿宇，東西配房，即十間藏書(shū)庫、三間居室、三間讀書(shū)繪畫(huà)室和十多間衛士房。四周峰頂都修有瞭望臺，起保護望海堂的作用。這里就是耶律倍及愛(ài)妃高美人于遼太宗天顯二年（927），從東京（今遼陽(yáng)市）來(lái)閭山隱居生活的地方。絕頂峰下，原建有三層殿堂、數十間房屋的一個(gè)大院，正殿為綠琉璃瓦歇山式大木架結構，規模宏偉，金碧輝煌，專(zhuān)為藏書(shū)之用，冬季耶律倍與高美人移此居住，故后世稱(chēng)此處為“琉璃寺”。這座望海堂，是遼代最大的私人藏書(shū)樓，也是我國當時(shí)北方少數民族地區藏書(shū)最多的地方。其中不少書(shū)籍是當時(shí)就已罕見(jiàn)的真本和善本圖書(shū)。連后唐的漢人學(xué)者都非常羨慕稱(chēng)贊，閭山成為遼代主要文化中心區。
原望海堂建筑，早在金滅遼時(shí)被燒毀，但遺址尚存。從柱石、磚瓦構件考察，當時(shí)建筑規模十分巨大，氣勢宏偉。這在地勢十分險要的懸巖高峰頂端進(jìn)行建筑，在羊腸小路上搬運材料，可見(jiàn)工程之艱巨，用心之良苦，建筑工人之勞累，可謂是遼代建筑史上的一個(gè)奇跡。峰下的琉璃寺也早已不存，但遺址尚在。寺前的一口水井，即是當年的食用水井，水質(zhì)甘冽，天旱少雨時(shí)，井水也不干涸。有一大石槽為遼代遺物，專(zhuān)家論證為顯陵前的祭器。位于望海堂東北方向不遠處的高美人行宮，如今也只剩下遺址。
站在大望海寺遺址上，登峰造極，居高臨下，四望群山，千峰萬(wàn)壑，盡在腳下。蒼松翠柏猶如草坪，使人眼界頓開(kāi)。“會(huì )當臨絕頂，一覽眾山小”，確有置身于天上之感。每當陰雨天氣，白云繞山而行，云霧生于足下，風(fēng)吹云動(dòng)波滔萬(wàn)頃，渾如大海；峰巒錯落，形如座座海島，忽隱忽現，撲朔迷離，宛如一幅瑰麗的畫(huà)卷。冬季群山披上銀裝，登峰遠眺，一片銀白世界，誠然是“銀裝素裹分外妖嬈”。欣賞這北國風(fēng)光，更有一番情趣。
古人有詠望海堂詩(shī)：“黃云白日兩茫茫，耶律移書(shū)此秘藏；安得讀殘十萬(wàn)卷，臥看東海自滄桑”。清人楊圻也有詩(shī)曰：“北鎮巫閭第一峰，但余樵牧說(shuō)遼宮；當年耶律耽文史，不讓昭明萬(wàn)卷風(fēng)。”還有歌頌耶律倍“讓國”的詩(shī)：“武略文謀兩擅長(cháng)，儲君何必握朝綱；一軍掃蕩扶余境，萬(wàn)卷珍藏望海堂。讓國竟追吳太伯，浮家猶載越夾光；任教介弟承洪祚，孝友孤哀久自彰。”