地名由来：相传古时曾有本地潘姓商人，在湘江左岸修建商埠码头，得名潘家埠。后又先后更名为潘家乡、潘市镇。

2022年11月，潘市镇被确定为第二批湖南省乡村旅游重点镇（乡）。

2017年11月，潘市镇入选第三批湖南省美丽乡镇示范名单。

位于祁阳县境中部稍北，距县城22公里。东与梅溪镇相接，南临湘江与黄泥塘、进宝塘、白水三镇隔江相望，西与观音滩镇相连，北与七里桥镇、羊角塘镇接壤。镇政府驻周家湾居委会，辖木埠头、许家岭、下堡桥、杨柳、多喜塘、岐竹、丁家坪、侧树坪、杨梅园、广济桥、下七渡、夭竹、双江、石峡洲、龙江、柏家、枫树、谢家湾、阳家歧、曾家歧、毛家埠、八角岭、老司里、高山、苏木、东江、乐园、深皇、白果、盘古、榔树、源星、新民、陆家、桐木、塘弦湾、中洲、董家埠、龙溪、古形、仙人坪、灵官甸、合洲、铜锣山、大洞源、赤一、赤二、钢铁、鲁冲、丫冲、东桥、荷花、享塘、新屋、龙潭、建溪56个村和周家湾、上街、下街3个居委会。

潘市镇原名潘家埠，因湘江北岸一个上千年历史的泊船码头上的住户多姓“潘”而得名。解放初为潘家埠乡，属第三区所辖。1950年潘家埠为第四区。1952年祁阳县析出祁东县后，潘家埠为第六区，辖现潘市镇和梅溪镇。1958年10月为灯塔人民公社，辖现潘市镇和梅溪镇全部管区。1959年5月为潘家埠人民公社。1961年改名为潘家埠区，辖潘家埠、下七渡、马安岭、塘弦湾、梅溪、楼梯、松林7个人民公社。1965年撤潘家埠人民公社，建石洞源人民公社，仍隶属潘家埠区管辖。1984年4月撤社建乡时，潘家埠区所辖的七个人民公社改名为七个乡。1985年元月，塘弦湾乡改为潘市镇。1995年7月，撤区并乡建镇，即潘市镇、下七渡乡、马安岭乡、石洞源乡、松林乡合并为潘市镇。

全镇总面积131平方公里，耕地1178公顷，13400户，44771人。祁山横亘于北，湘江缠绵于南，镇境北高南低。交通十分便利，水运繁忙，公路四通八达。祁羊公路、衡昆高速公路纵横贯穿，新修湘江大桥使全县的南北更紧密连成一体。镇北部山地，盛产杉木、板栗、楠竹、桐油，水丰草茂，是发展畜牧业的理想之地。全镇副业有红薯、小麦、茶油、茶叶、柑桔等。石峡洲和中洲是祁阳境内湘江三大江心岛中的两个。蔬菜水果基地年产2000万吨，销往衡阳、长沙、广州等省内外。矿产有石灰石、煤、铁、铜、瓷泥、陶泥等。全镇2002年生产总值为11247万元，财政收入215．6万元。

潘市镇是无产阶级革命家陶铸同志的故乡。1950年陶铸创办铁铮图书馆于镇政府所在地，“文革”中被毁，1988年重建。

陶铸故居

陶铸故居位于永州市祁阳县潘市镇陶家湾村一半山腰中。1908年1月16日,陶铸就出生在这里。1926年,他入广州黄埔军校第五期学习,同年加入中国共产党。1927年参加南昌起义和广州起义,192

龙溪李家大院

建筑面积7100平方米的具有典型湘南民居特色的老宅子，是目前祁阳乃至永州年代久远、保存完好、规模最大的古民居，叫李家大院。李家大院背山面水而筑，体现了建筑与山水和谐相处的湘南民居特色。现保存

潘市杨氏宗祠

杨氏宗祠坐落在潘市镇侧树坪村，为始建于清乾隆四十八年（1783年）的宗教祭祀建筑，历史悠久，完整地保留了明清时代宗祠建筑风格和历史文化信息，是集建筑、历史、科学、艺术价值于一体的历史文化遗产

历史沿革：

民国时期，先后属第四区和潘家乡。

1949年10月，属三区。

1950年6月，属四区。

1952年7月，区划调整，为第六区。

1956年7月，撤区并乡改为潘市乡。

1958年9月，改为灯塔人民公社。

1959年5月，更名为潘家埠人民公社。

1961年8月，改为潘家埠区公所，辖潘家埠、下七渡、塘弦湾等7个公社。

1964年3月，撤潘家埠公社，建石洞源公社。

1984年4月，改公社为乡。

1985年1月，改塘弦湾乡为潘市镇。

1995年5月，祁阳撤区并乡建镇，并下七渡、马鞍岭、潘市、石洞源、松林5个乡镇，建立新潘市镇。

析出梅溪、楼梯两乡，并建梅溪镇。