安障乡在安乡县境中部，东临虎渡河与安昌乡想望，西倚松滋河东支与安凝、安丰乡对峙，南连城关镇、安尤乡、北接安全乡。全乡共有土地43.683平方公里，其中耕地3.1万亩（水田1.5万亩，旱地1.6万亩）。