蔡伦纪念馆位于耒阳市蔡侯祠内。蔡侯祠，原为东汉造纸发明家蔡伦（公元63—121年）故宅，后人就其宅基建祠，纪念蔡伦。《水经注》载：“（耒水）西北经蔡洲，洲西即蔡伦故宅，旁有蔡子池”。
蔡侯祠始建年代不祥，元至元四年（1338年）耒阳知州陈宗义重修。后几经兴废，现存建筑为清代重修，古朴典雅。占地面积408平方米，座南朝北，砖木结构。分三进两院，前厅三间单坡小青瓦顶，两侧有走廓，中轴为甬道有屋盖与中厅相连；中、后厅三间悬山顶，亦有走道、甬道相连。大门石额“蔡侯祠”，石联：“芳池月映，故宅风存”。
据《后汉书》及大量史料考证，蔡伦于公元63年生于耒阳，历任小黄门、中常侍加位尚方令、长乐太仆等职，封龙亭侯。公元105年发明造纸术，制造出世界第一张植物纤维纸，改写了人类用竹帛记录文字的历史，此后一千多年造纸术经东亚传往欧洲，成为中华民族四大发明之一，为传承文明作出了伟大的贡献。这不仅使中国文明乃至东方文明领先世界达一千多年，而且是人类文明的一个里程碑。