地名由来：因地处碧溪河畔，曾一度被称丁溪山。明崇祯年间（1628—1644）九江陈姓始居，名陈家畈；清顺治年间（1644—1661）曾冶铁，而名铁山。

2022年3月，江西省爱国卫生运动委员会命名铁山乡为2021年度江西省省级卫生乡镇。

2019年1月，江西省生态环境厅授予铁山乡为第十一批江西省省级生态乡（镇）荣誉称号。

上饶县辖乡。1961年设铁山公社，1984年改乡。位于县境东南部、碧溪上游，距县城29公里。面积47平方公里，人口1.3万。通公路。辖铁山、马路、西岩、九狮、洪水、小溪、大溪7个村委会。碧溪自南向北流贯中部。农业主产水稻、油菜、红薯，盛产毛竹、茶油。地下资源有铁矿石、瓷土。有土纸、檀香扇厂和水电站等乡镇企业。大坪山有商周文化遗址。

历史沿革：

新中国成立前属第六区铁山乡，建国初属铁山区；1958年属东风（次年改为鄱阳）公社；1961年成立铁山公社；1968年并入四十八公社；1972年恢复铁山公社；1984年后设铁山乡，沿用至今。