该寺建于东吴甘露元年（256年），相传建寺时甘露适降，所以得名。 相传是三国时蜀刘备在东吴招亲处，也有《甘露寺》一出京剧。甘露寺有一铁塔位于天王殿东北，为唐宝历元年（825年）卫公李德裕建，又称卫公塔，现存《重瘗禅众寺舍利题记》。北宋元丰元年（1078年）迁建于今址，后又屡毁屡建。原为七层，上部三层于十九世纪末倾倒，现存四层，其中基座以及下两层仍为宋代原物，1960年，镇江文管会在修复甘露寺铁塔时，发现地宫及佛舍利。