地名由来：以驻地村命名为小牛群镇。清康熙九年（1670年）建村，喀喇沁王在此设牧场，因牧场规模小，称巴嘎挪其，后演变成今名。

小牛群乡位于喀喇沁旗西北部，距锦山镇30公里。东接永丰乡和大牛群乡，西界河北省围场县，南邻大西沟乡，北邻南台子乡，东西长22公里，南北宽15公里，总面积约247公里。主要矿产有萤石，珍珠岩，褐煤才无烟煤。蕴藏量较丰富，目前均有开采。

新中国成立后，为喀喇沁旗第五区，1958年，成立小牛群人民公社，1984年1月改小牛群乡。

现全乡辖12个村民委员会。小牛群乡交通比较方便，锦山至南台子公路经由此地，1985年又修通了小牛群至大西沟乡的乡间公路，现在村村通电。小牛群乡商贸活动发展较早，建国前就已是旗内背部乡镇的商贸中心农村经济以农业为主。解放前因植被破坏，水土流失严重，粮食产量低而不稳，建国后，人民政府大力组织人民群众治山治水，生态环境逐渐恢复，农业产量逐年提高。

全乡现耕地48813亩，其中水浇地8269亩，主要粮食作物有谷子、玉米，高粱和土豆，粮食产量比解放初期增长近2倍。经济作物主要有向日葵、烟草等。

狮子沟村从60年代开始，全面进行农田基本建设，植树种草，发展旱作农业，取得较好效果。为自治区旱作农业先进典型，和大牛群通太沟，锦山樱桃沟一起并称为“三沟经验”。全乡森林覆盖率32.6%。

历史沿革：

清代属喀喇沁右翼旗，1949年后属喀喇沁旗第五区，1956年4月划分为小牛群乡、南台子乡和大牛群乡，1958年11月改为小牛群公社、南台子公社和大牛群公社,1984年1月改建为小牛群乡、南台子乡和大牛群乡，2006年三乡合并为小牛群镇，2012年原南台子乡辖区分出单立南台子乡。