地名由来：荒塘瑶族乡之所以取名“荒塘”，源于乡政府所在地一口荒凉的山塘，如今，山塘早已填平，化为青青稻田。荒塘瑶族乡改名五龙山瑶族乡源自境内的五龙山村。五峰并肩而立，挺拔俊秀，若五龙而叠出，有腾飞之势，正好可以借势促力当地发展，故建议将乡名改为五龙山。乡名改为五龙山后，与最南端的九嶷山遥相呼应，一南一北，九五之尊，寓意宁远乃舜帝藏精之所名副其实。

五龙山瑶族乡位于县境北端，阳明山脚。乡政府驻地距舜陵镇68公里。东邻新田县，南接鲤溪镇，西连双牌县，北交祁阳县，是一个毗邻四县的北部林区。

乡沿用驻地名。1950年命名石家洞乡。1958年为和平人民公社。1961年以驻地命名石家洞公社，辖13个大队。1984年划分为石家洞乡和荒塘瑶族乡，共辖17个村。1992年将瓦窑村、新屋场村划归祁阳。1995年撤区并乡，两乡合并为荒塘瑶族乡。乡政府驻石家洞村，辖杨桂坪，西边、祖山口、象村洞、新屋、石家洞、上洞铺、陈家湾、牛塘岭、大坝、黄泥口、菜秧丘、上庄源、茶坪源、五龙山15个村，一个林场，149个村民组。

全乡总面积158平方公里，耕地371公顷，林地12200公顷，2519户，10666人，其中瑶族人口3442人。东舂河流经境中，境内南低北高，交通十分不便，乡经济以农业为主，林木蓄积量比较丰富。乡年国内生产总值1000万元，年财政收入36万元。

乡内设有中学1所，完全小学2所，村小9所，医疗机构2个，村级卫生室15个。

历史沿革：

明清时期，属东乡。

民国时期，属北屏镇。

1950年，名石家洞乡。

1958年，改为和平人民公社，年底恢复原名。

1961年，名石家洞公社。

1984年，划分为石家洞乡和荒塘瑶族乡。

1992年，将瓦窑村、新屋场村划归祁阳县。

1995年，撤区并乡，两乡合并为荒塘瑶族乡。

2015年，荒塘瑶族乡更名为五龙山瑶族乡。