贺家乡在衡山中西部，临湘江河畔，与衡东县霞流隔河相望。乡政府驻地北侧有一座山，相传清乾隆年间山下均住贺姓人家。后人称此山为贺家山，贺家乡因此而得名。全乡辖16个村，167个村民小组，16000多人。43.7平方公里，耕地20542亩，其中水田11000亩。