地名由来：当地氏族潭府李氏于元顺帝至正四年（1344年）由江西吉水谷村迁此，因其祖先西平忠武王李晟为洮州“临潭”（今甘肃临潭县）人，吉水谷村有“玄潭”，为“示不忘本”，始名潭府。

2022年4月，潭府乡入选2022年农业产业强镇创建名单。

潭府乡，地处新邵县东部，距县城25公里。全乡土地总面积98.7平方公里，耕地面积17839亩，楠竹面积50818亩。辖33个行政村，总人口2.9万人。

潭府乡境内资源丰富，土地肥沃。楠竹蓄积量和产出量居全县第一；辖区内的枫树坑水库储水量达400万立方米；土壤条件良好，适宜各种农作物和经济作物的生长；70年代，该乡曾以出产黄金在省内外闻名。

近年来，乡党委、政府把产业结构调整做为改变农村贫困面貌，实现农村经济腾飞的突破口。2003年，全乡共发展玉竹3200亩，茯芩17000多窖，天麻1000多窖，其它药材1000亩，楠竹低改1200亩，发展杨梅等精品水果200亩，出栏牲猪15000头，全乡人均纯收入达1737元。

该乡把“民营兴乡”做为发展经济的一项重大战略举措。截止2003年底，全乡新办投资10万元以上的民营企业13家，共投资753万元（其中引进外资545万元），累计年产值3110万元，从业人员249人，年创利税200余万元，民营经济增长速度名列全县第一。

潭府乡基础设施日臻完善，城镇化进程日益加快。33个行政村全部实现通电、通邮、通路、通程控电话。2000年兴建了移动基站，移动网络覆盖全乡80%地域，全乡手机用户已达985户；电网改造工作进展顺利，现已有江溪冲等22个行政村完成了电网改造；卫生事业长足发展，医疗卫生设施日趋完善，全乡有一所卫生院和50个卫生站；教育事业方兴未艾，境内有中学2所，小学17所；有线电视覆盖全乡25个村。

历史沿革：

民国三十六年（1947年），潭府乡境域分属邵阳县和安、长泰乡。

1949年解放，属邵阳县第七区。

1952年，邵阳析置新邵县，分属新邵县第四区中潭、上潭、洪福桥等11个乡。

1953年，中潭、上潭乡组建潭府乡。

1958年，乡改公社，增辖原壕塘、车峙。

1961年，壕塘、车峙析出。

1984年，公社改乡。

1995年，车峙乡并入潭府乡。