南朝梁天監(jiān)十二年（513），衡陽市南區(qū)回雁峰山上建云禪寺，隋改名為雁峰寺。唐建壽佛殿，供無量壽佛像。明修有望岳亭、宮室寺、此君軒、望江樓等。清建大雄寶殿、大悲閣、摩云舍、望雁樓、指月寮等建筑。峰前有煙雨池，“雁峰煙雨”為古城衡陽八景之一。
　　
　　1944年，日軍侵入衡陽，山上古林殿閣慘遭焚毀，僅存一座寺門和半間佛殿，寺門上“上達”二字相傳為清代一高僧所書。1985年，回雁峰被辟為公園，占地約0、19平方公里。峰前新開辟的雁峰廣場中心建有大雁雕塑，高10米，為衡陽市城徽。廣場正面是一座雕梁畫棟的仿古門廳，匾額"南岳第一峰"為趙樸初題寫。峰上重修望岳臺、雁峰寺，復原觀天池、此君軒。

美食:
    白天：
    如果不想走得太遠的話，在公園大門左側有一家名為美心菜館的店子，這個店子的家常菜還不錯，價格也不是很貴；如果想吃到真正的衡陽菜，也不嫌遠的話,可以去環(huán)城南路或紅湘路（打的一般不超過8塊錢）上，有很多規(guī)模中等但是口味很不錯的餐館，如鄉(xiāng)巴佬、旺旺旺等，尤其是臘味菜更是一絕；這兩條路上還有許多衡東土菜館，是正宗的土菜哦！
    晚上：
    傍晚時分，衡陽的夜宵攤就開始營業(yè)了；雁峰公園周圍吃夜宵的地方挺多的�？梢灾苯幼叩浇�邊去（100m），很多夜宵攤，在衡陽吃夜宵嗦螺和口味蝦千萬要吃哦；可以如果不嫌遠，可以沿中山路走到進步電影院，就在進步電影院旁邊的小巷子里有許多美食，像臭豆腐啦、燒烤啦等等。啊，流口水了！