蔡侯祠，原为东汉造纸发明家蔡伦（公元63―121年）故宅，后人就其宅基建祠，纪念蔡伦。《水经注》载：“（耒水）西北经蔡洲，洲西即蔡伦故宅，旁有蔡子池”。蔡侯祠始建年代不祥，元至元四年（1338年）耒阳知州陈宗义重修。后几经兴废，现存建筑为清代重修，古朴典雅。占地面积408平方米，座南朝北，砖木结构。分三进两院，前厅三间单坡小青瓦顶，两侧有走廓，中轴为甬道有屋盖与中厅相连；中、后厅三间悬山顶，亦有走道、甬道相连。大门石额“蔡侯祠”，石联：“芳池月映，故宅风存”。据《后汉书》及大量史料考证，蔡伦于公元63年生于耒阳，历任小黄门、中常侍加位尚方令、长乐太仆等职，封龙亭侯。公元105年发明造纸术，改写了人类用竹帛记录文字的历史，此后一千多年造纸术经东亚传往欧洲，成为中华民族四大发明之一，为传承文明作出了伟大的贡献。这不仅使中国文明乃至东方文明领先世界达一千多年。