南湾是在衡东南部的边陲山乡，近邻安仁县，西接衡南县。离县城56公里，境内西北有高日塘山脉，东北有四方山支脉。两山出口处有一小集镇，相传古代一名叫欧阳南湾的武将路过此地，因迷恋这里的秀丽山水而定居于此，屋牌楼上书 “南湾门”三字，后集镇便以南湾命名。