地名由来：因有康姓渔郎居之，故名康郎山，简称康山。以乡境内康郎山，故名。

2022年3月，江西省爱国卫生运动委员会命名康山乡为2021年度江西省省级卫生乡镇。

余干县辖乡。1958年置卫星公社，1959年更名康山公社，1984年改乡。位于县西北部、鄱阳湖东南岸，距县城32公里，面积222平方公里，人口0.9万。辖康山、府前、康郎、山头4个村委会。鄱阳湖航道可通航。水域约占全乡总面积的82%。康山河自南向北流贯。农业主产水稻，特产银鱼。康郎山为朱元璋大战陈友谅古战场。有明建忠臣庙、点将台等古迹。

历史沿革：

1949年初为余干县第五区康山乡，1955年为新发、府前、山头等渔业镇，1956年为团结镇、新发渔业镇，1958年为康山公社，1984年析出改名为康山乡，地名沿用至今。