五里牌乡在临湘市城东郊，东与羊楼司镇相接，南与忠防镇相连，西抵长安、白云镇，北与聂市交接。因古代驿站五里设牌，此地离长安驿站刚好五里，故名五里牌。