祁红乡在祁门县城西南部，东接休宁县，南与江西相接，西接芦溪乡，西北接平里镇，北枕祁山镇和塔坊乡。东西长18公里，南北宽17.4公里，达119.08平方公里，占全县土地5.36%。