小山子镇属五常市管辖。在市境东部，东部和北部与尚志市老街基乡毗连。镇政府驻地离城区38公里。小山子镇一带，于清代咸丰年间（1851—1861年），垦殖立屯，因屯北有一座孤立山峰，故名“小山子”。清代中叶属拉林副都统区域。五常设治前后，属由义社管辖，清末属五常府由义乡。中华民国成立后，属五常县第四区。东北沦陷后，初为小山子联合保的太平山保，1940年1月改设小山子村。1945年“九三”抗日战争胜利前后，设置胜利镇。1947年初，设小山子区，后改为第四区。1956年3月，撤区划乡，分设胜利、双利、新发、太平等乡，胜利乡为中心乡。1958年秋，合并成立胜利人民公社。1981年改为小山子公社。1984年2月，改为小山子镇。