回祖村位于王禹乡东南部，与西原村、仝家庄村、庄则洼村、汾西县永安镇、陈家源村、冯村相邻。地处沟谷，海拔800多米，土地肥沃，适宜植物生长，四季分明，气候宜人。全村贯穿一条S型小河，村民沿河散布居住。本村共有户数423户，人口1321人，劳力686人，其中男399人，女266人。全村总面积9802.9亩，其中耕地3561.4亩，林地1264.4亩，其中有林地591.3亩，宜林地673.1亩，人均纯收入6093元。

回祖村与王禹村、柏明村、罗汉村、赵家沟村、后背掌村、洪土村、东圪塔村、柏苍村、原西沟村、秋泉村、黄原上村相邻。

回祖村附近有灵石王家大院、红崖大峡谷、石膏山、夏门古堡、静升文庙、翠峰公园等旅游景点，有灵石酸枣仁、灵石荆条蜂蜜、灵石核桃、灵石骨累、灵石油糕、黄条条等特产，有灵石泥塑（泥塑佛像）、摸骨正脊术、木雕、石雕、砖雕艺术、常青双人高跷、傅山拳、静升抬阁等民俗文化。