地名由来：该乡因“樟木寺”而得名。据清同治《衡阳县志》记载：樟木寺系盖木居士旧祠。后因周围樟木丛生，故取名樟木寺。

2021年3月，衡阳市2020年度市级文明村镇社区名单发布，樟木乡上榜。

樟木乡位于衡阳县的东北面，环境优美，交通便利，属于南岳“九观桥”----衡阳旅游带的一部分。107国道穿境而过，南距衡阳市中心20公里，北离南岳25公里。境内水资源丰富，美丽的湘江傍境而依，养育了一代又一代勤劳的樟木人。全乡面积100平方公里，辖19个村，1个居委会，238个村小组，人口25980人。乡政府座落白露坳，市场建设日趋规范，樟木乡物产丰实，盛产粮食、牲猪、湘黄鸡、蔬菜、水果等农产品，同时，这里的人文环境好，政府的政策优惠，劳动力资源充足，交通便利，区位优势明显，是一个投资办厂的好去处。

历史沿革：

清朝时期，为岣嵝镇地。

民国时期，属礼义乡。

1949年10月，属衡阳县第三区。

1952年7月，属第十五区。

1956年，撤区并乡设樟木乡。

1958年9月，属红旗人民公社。

1961年12月，置樟木公社，属集兵区。

1995年5月，撤区并乡，里仁乡并入樟木乡。