被稱(chēng)為“巖居陋室”的祖師洞，是五磊寺著(zhù)名的名勝古跡之一，位于五磊山牛角峰巔。相傳三國吳赤烏年間，印度來(lái)華高僧那羅延尊者在此洞中靜修。原來(lái)有一只粗制石香爐，現已散失，僅存洞口所壘之石塊。古人有“窮巖絕壑開(kāi)新基，牛角峰巔放晚參。催落山泉作鐘磬，祖師洞巖云有聲”之句，把個(gè)祖師洞描繪得有聲有色。
祖師洞朝北，須由望海亭旁攀援而上，洞邊巖石蒼秀，形如城門(mén)，口部苔痕濃綠，藤蔓四布，洞底平坦，容人直立；崖頂古樹(shù)虬枝相互纏繞，其中有一古虬老根，斜抱巨石，凌空險掛，勢欲墜卻甚牢固，洞左突出一鐘崖，敲之嗡嗡聲縈繞。當晨霧冉冉升起或霏雨迷漫時(shí)，洞前一片乳白色，形成云疊霧、霧繞云的景色，襯上洞旁茂木成林，秀竹搖曳，即成一幅濃墨重彩的丹青。而最精致的，當數洞頂右側，有數個(gè)壘石天窗，每當陽(yáng)光斜照時(shí)，光線(xiàn)如集束金針直射洞口，而洞內水汽在陽(yáng)光中上浮，形成彩色光環(huán)。在皓月當空時(shí)，祖師洞和壘石天窗，形成大月套小月，雙月迭出，真具有“一輪玉鏡當空，四壁蒼煙凝露”的風(fēng)光。
站立洞外平臺，徐徐清風(fēng)伴隨著(zhù)絲絲竹音，在陽(yáng)光的照耀下，翠蓋連綿的象王峰、夏涼峰、筆架峰、天峙峰，峰峰似獅如象，如云似崖。向北眺望，五磊講寺，金瓦黃墻，鱗次櫛比，酷似五峰蓮瓣擁花蕊，任人想像。民間傳說(shuō)，五磊寺開(kāi)山祖師那羅延在洞中結廬靜修時(shí)，牛角峰牛王和象王峰象王常結伴前來(lái)聽(tīng)經(jīng)，觀(guān)音菩薩念其真心誠意，分別贈送其紫石竹林一片。今山上滿(mǎn)山遍野的石竹據說(shuō)在其他山上是很難找到的。