渣江镇在衡阳县西北部，在蒸水河畔。传说蒸水、柿竹水汇合于此，泥渣长期停滞，形成江边平地，故称“渣江”。1995年撤区并乡时，原官埠乡、赤石乡、盐田乡并入渣江镇。