大烏山山巔之上有座古廟，相傳建于唐代中宗神龍?jiān)辏?05年），由于年代久遠(yuǎn)，歷經(jīng)滄桑，毀建數(shù)次。整座廟宇全用花岡條石砌成，規(guī)模壯觀。正棟為玉皇殿，殿內(nèi)佛像陳列，有鋼鐵鑄的，有石鑿的，有木雕的，還有陶制的，其貌莊嚴(yán)，威武神氣。右為觀音殿，神臺(tái)上的觀音娘娘坐于蓮花之上，雙手平擺于膝，相貌慈善。左為羅漢殿，十八羅漢各開笑口，形態(tài)不一。
大烏山的命名有有兩種說法：一是遠(yuǎn)望大烏山，烏蒙蒙的一片，所以，人們就叫它“大烏山”。另一種，就是明洪武翰林學(xué)士解縉在山上廟里過夜，大風(fēng)吹滅了蠟燭，廟里黑烏烏的，他開玩笑說：“現(xiàn)在不是名（明）山，而是變成了烏山了。”于是，人們就戲稱它為“烏山”。
南宋愛國英雄文天祥游歷到此，驚嘆于大烏山的雄奇，題寫了“永鎮(zhèn)江南”四字匾額；明朝進(jìn)士鄒元標(biāo)也留下了“烏山仙境”四個(gè)字的珍貴墨寶；遺憾的是一些代狀元吉水人解縉題寫的“捷足先登”牌坊在清末坍毀，僅留遺址。