祭祀一忠一孝的文昌廟與關(guān)帝廟是古代舉行隆重大典的地方。安仁縣的文昌廟始建于宋建炎年間(1127—1130年),知縣汪杞建學(xué)宮于縣東育才坊(今余江二中所在地),元朝邑人王溥又建“大成殿”,創(chuàng)建了“明倫堂”。明清兩朝,幾經(jīng)廢興。清同治八年(1869年),代縣令姚迥和后任知縣朱潼發(fā)起鄉(xiāng)紳大加修建,此時(shí)的文廟(孔廟)由興賢門拾級(jí)而上,依次為欞(靈)星門、泮池、大成門、大成殿、崇圣祠,并把文昌宮和明倫堂連接起來(lái),東西兩排小屋分別為名官、鄉(xiāng)賢、忠義、節(jié)孝四祠。新建“魁星閣”于孔廟東邊,各殿漆以紅漆,金碧輝煌,畫龍雕棟,檐桷拱飛,氣勢(shì)雄偉,與巍巍的文廟珠壁相輝,與挹仙亭遙相對(duì)峙,頗為壯觀。安仁文廟,面水背山,大有虎踞龍盤之勢(shì),廟中遍植古槐,綠樹(shù)成蔭,郁郁蔥蔥。道光五年(1825年)正月十四日,颶風(fēng)自正西吹來(lái),山陵大樹(shù)連根拔起,孔廟部分建筑首當(dāng)其沖,庭中古槐被吹倒,知縣陳公會(huì)同鄉(xiāng)紳捐資修復(fù),并將古槐扶植于原穴,精心培育,次年又吐出新葉,這棵千年古槐至今仍有凌宵參天之勢(shì)。民國(guó)時(shí)期,安仁文廟一直作為學(xué)堂之用,解放后,為余江中學(xué)(后改名為余江二中)辦公用房,1977年,將文廟大成殿改造成二層辦公樓,殿基及窗臺(tái)下維持原貌。