秦、漢、晉國時期，屬江乘縣。
隋朝時期，屬江寧縣。
唐代先后，屬江寧縣、歸化縣、金陵縣、白下縣、江寧郡、上元縣等。
宋至清朝時期，屬上元縣。
民國元年（1912年）后屬江寧縣；民國三十八年（1949年）4月，分屬南京市第十三區(qū)和江寧縣第六區(qū)。
1953年，屬江寧縣第六區(qū)。
1955年，屬江寧縣湯山區(qū)。
1957年，為江寧縣湯山鎮(zhèn)、上峰鄉(xiāng)。
1958年，為江寧縣湯山人民公社、上峰人民公社。
1961年，析湯山人民公社置湯山鎮(zhèn)。
1982年，湯山、上峰2人民公社改鄉(xiāng)。
1983年5月，湯山鄉(xiāng)并入湯山鎮(zhèn)。
1996年2月，上峰鄉(xiāng)改鎮(zhèn)。
2005年12月，湯山鎮(zhèn)改置街道。
2010年5月，原麒麟鎮(zhèn)區(qū)域析出。