潘市镇在祁阳县中部偏东、祁山以南，湘水以北，离县城15公里是伟人陶铸 同志的故乡。东北与观音滩镇相接;南临湘江，分别与黄泥塘、进宝塘、白水等镇隔河相望;西与七里桥、下马渡等镇以祁山山脉为界。主要道路有衡枣高速公路14.6公里、祁羊干线22公里途经本镇32个村（居）委会。