回雁阁位于回雁峰的新区——回雁景区，主阁高35米，四层四棱，顶部重檐如雁张翼，底部七十二根支柱，寓意“南岳七十二峰”，南北两侧有“听瀑亭”和“揽翠亭”相依。整个建筑由市政府投资500多万元于2006年建成，造型庄重古朴、典雅大方，是衡阳市标志性建筑。提升回雁阁的文化品位和湖湘文化内涵、滕王阁媲美的“江南名阁”，2007年9月，市政府投资80多万元对回雁阁进行文化装修。阁的四面均挂着原中国书法协会主席沈鹏题写的镏金匾额“回雁阁”三个大字。“四面悬匾”是经相关专家多次论证后定夺的方案，象征着具有2000多年历史的衡阳文化古城蒸蒸日上的繁荣气象。三层楼阁共装修布展有精选的历代文人、名人游衡阳留下的诗词、楹联23幅、《回雁阁记》木刻一幅及出自衡阳美术界名家之手、集体创作的《衡岳魂》、《王船山》、《平沙落雁》、《雁峰烟雨》等磨漆画4幅。