据老人传说：北宋时期，潘、苗、叶三大家由山东大榆树移民至此，初叫三家营村。明朝燕王扫北所带官员中有一王姓，也是山东大榆树人，老年退居三家营。后以其中潘姓起名叫潘营。潘营村北靠庙山，山上原来有一座大庙，为京东第一大寺，还有一座建于清朝的天主教堂。

潘营村与赵庄村、白庄村、大魏庄村、平房新庄村、刘庄村、陈庄村、杨团堡村、张庄村、小李庄村、吴庄村、东周官营村、小营村、王崖村、大蔡庄村相邻。

潘营村附近有山叶口景区、白羊峪长城旅游区、京东管业文化产业园、鑫达钢铁文化产业园、塔寺峪、红峪山庄长城溶洞风景区等旅游景点，有迁安桑皮纸、迁安缸炉烧饼、贯头山白酒、贯头山酒、建昌营馓子、黑马铃薯等特产，有手工“高丽纸”、迁安老马识途的传说、贯头山酒酿造技艺、冀东抬杆、迁安汉曲、迁安伯夷、叔齐的历史传说等民俗文化。