凉水镇的地名是以凉水村后山下坎处有一清泉，水质清凉而得名为凉水泉子。明朝永乐五年属穆霞河卫，清朝设摸黑甸子卡伦（亦写作黄赫甸子），清朝光绪年间约1875年左右开始开发，归属珲春厅管辖，1910年划归汪清，1912年改名为春芳社二区。1934年 伪满时期，日本实行保甲制，春芳二区改名为汪清春芳保，1938年改为春芳乡村公署，1945年改名为汪清春芳区第八区，1947年从汪清划归珲春，命为为珲春县春芳区七区。1956年实行改革把春芳区划分为两个乡，凉水乡和英豪乡，1962年凉水乡和英豪乡合并，成立凉水人民公社，1968年成立凉水人民公社革命委员会，1983年改为凉水乡，1984年晋升为凉水镇，1991年8月1日行政区由珲春市划归到图们市。目前，凉水镇已获得国家级环境优美乡镇、省级卫生乡镇等先进荣誉称号。