安乐溪乡在赫章县城西北部，乡政府驻地离县城60公里。东接云南省以古乡，东南接结构乡，南接可乐乡，北接云南省镇雄县的花山乡，处于两省四乡交接处。区域98.2平方公里，共辖13个村，78个村民组，3375户，16792人。少数民族占的22%，居住着汉、彝、苗、蔡家等民族。全乡耕地14747亩，人均1.11亩，其中25°以上的坡耕地占80%以上。