地名由来：1620年，黄姓人迁徙凤凰山（又名落凤坡，今小黄山村北山）南坡定居，繁衍生息，后又分支到荆山一带生活。到清朝时期，有黄姓一人被封为将军，并将“凤凰山”改名“小黄山”。大黄山村后有一座山也叫凤凰山，因其比“小黄山”高，而改名“大黄山”，后随时代变迁逐渐形成大黄山乡，大黄山镇到现在大黄山街道。

2017年12月，江苏省爱卫会命名大黄山街道为2017年度江苏省卫生镇（村）。

2013区划调整：贾汪区：撤销贾汪镇、大吴镇、庙山镇，调整汴塘镇、青山泉镇部分区域，设立大泉、老矿、大吴、潘安湖、大黄山、大庙6个街道办事处。其中，大庙街道办事处、大黄山街道办事处的人、财、物整建制交由徐州经济技术开发区管理。

历史沿革：

2013年8月16日，撤销庙山镇，设立大黄山街道和大庙街道。