来义乡在台湾屏东县东部中段，北临泰武乡，东接台东县达仁乡、金峰乡，西接万峦乡、新埤乡，西南连枋寮乡，南接春日乡，该乡在中央山脉之上，海拔平均在300公尺以上，境内崇山峻岭，地势起伏甚大，有来义溪及多条野溪流经，气候属热带季风气候，居民以台湾原住民排湾族为主，人口在屏东县八个原住民乡中排名第一，也是全台排湾族原住民最多的乡。