望峰乡在衡山县西北部，南岳祝融峰北麓，离县城约30公里，东北与岭坡乡相接，南与南岳区龙凤乡交接，西与东湖镇、白果镇、江东乡近邻。全乡地势西南高，东北低，以山地为主。相传明朝中期，人们在现望峰村的小溪上建起一座石拱桥，站在桥上向南远眺，南岳祝融峰清晰可见，故人们称此桥为“望峰桥”。以乡机关驻地望峰桥而名望峰乡。35.35平方公里。其中水田473.54公顷，旱土10.27公顷，山林2298.50公顷，水面40公顷。含13个建制村101个村民小组，3228户，12349人。均为汉族。