秦始皇二十六年（公元前221年）改邑稱縣，婁邑易名婁縣，治所設(shè)于今城北鎮(zhèn)同心村，玉山地區(qū)屬婁縣。
西漢末年王莽將婁縣更名婁治，玉山地區(qū)屬婁治。
東漢時期復(fù)名婁縣，玉山地區(qū)屬婁縣。
梁朝梁武帝天監(jiān)六年（507年）分婁縣置信義縣（縣治設(shè)在今正儀鎮(zhèn)），玉山地區(qū)仍屬婁縣。
大同二年（536年）婁縣改為昆山縣，縣治設(shè)在華亭（今上海市松江縣西北）境內(nèi)之小昆山，玉山屬昆山縣。
隋朝開皇九年（589年），昆山、信義俱廢地屬蘇州。
十八年復(fù)置昆山縣，玉山屬昆山縣。
唐朝天寶十年（751年）分昆山南境置華亭縣，遂遷縣治于馬鞍山陽（今玉山鎮(zhèn)人民路北首），玉山地區(qū)為縣治所在地。
元朝元貞元年（1295年）升昆山為州，縣治改為州治，玉山為州治所在地。
明朝洪武二年（1369年），降昆山州為縣，州治復(fù)為縣治，玉山為縣治所在地。
清朝雍正二年（1724年），分昆山置新陽縣，縣治設(shè)于昆山縣治東南一里蓴菜橋（今莼菜橋）東，兩縣同城分治，玉山為昆新兩縣縣治所在地。
民國一年（1912年），昆新兩縣合并，仍定名昆山縣，玉山仍為昆山縣治所在地。
民國二十三年（1934年），昆山縣10個自治區(qū)合并為8個自治區(qū)，玉山地區(qū)為第一區(qū)。
民國三十一年（1942年）2月，昆山縣劃為9個區(qū)63個鄉(xiāng)（鎮(zhèn)），玉山為第4區(qū)。
民國三十四年（1945年）9月，抗日戰(zhàn)爭勝利，昆山縣改為8區(qū)64鄉(xiāng)鎮(zhèn)，玉山鎮(zhèn)地區(qū)為第一區(qū)。
12月14日，改冠區(qū)名，玉山區(qū)改名“鹿城”區(qū)。
民國三十六年（1947年）2月，實行新縣制，全縣劃3個區(qū)，1個示范鎮(zhèn)，1個實驗鄉(xiāng)，6個直屬鄉(xiāng)（鎮(zhèn)），玉山鎮(zhèn)為“示范鎮(zhèn)”。
1949年，昆山縣劃分5個督導(dǎo)區(qū)，玉山鎮(zhèn)屬第2督導(dǎo)區(qū)。
同年5月13日，昆山解放，建立區(qū)鄉(xiāng)人民政權(quán)，昆山縣縣劃分6個區(qū)（巴城、正儀、茜墩、張浦、蓬朗、城區(qū)），27個鄉(xiāng)、鎮(zhèn)（鄉(xiāng)鎮(zhèn)劃分沿用舊區(qū)劃），玉山鎮(zhèn)屬城區(qū)；同年11月，昆山縣將6區(qū)改設(shè)10個區(qū)，玉山鎮(zhèn)屬城區(qū)。
1950年1月，昆山縣全面廢除保甲制度，劃小區(qū)鄉(xiāng)，城區(qū)更名城郊區(qū)，玉山鎮(zhèn)屬城郊區(qū)。
1951年6月，昆山縣調(diào)整區(qū)劃，撤城郊區(qū)，玉山鎮(zhèn)改為城區(qū)。
1954年9月，昆山縣劃為8個區(qū)，1個縣屬鎮(zhèn)（陳墓鎮(zhèn)），8個區(qū)屬鎮(zhèn)，玉山鎮(zhèn)屬城區(qū)。
1956年3月，昆山縣劃為5個區(qū)，1個縣屬鎮(zhèn)（陳墓鎮(zhèn)），玉山鎮(zhèn)屬城區(qū)。
同年年底，撤區(qū)并鄉(xiāng)，全縣劃為17個鄉(xiāng)5個縣屬鎮(zhèn)，玉山鎮(zhèn)為縣屬鎮(zhèn)。
1958年9月，昆山縣建“人民公社”，實行政社合一，時城南鄉(xiāng)、城北鄉(xiāng)、玉山鎮(zhèn)合并建立馬鞍山人民公社。
1959年6月，昆山縣人民政府撤馬鞍山人民公社，建立城南、城北人民公社和玉山縣屬鎮(zhèn)。
1986年10月，玉山鎮(zhèn)經(jīng)江蘇省人民政府批準，城南鄉(xiāng)與玉山鎮(zhèn)合并，實行鎮(zhèn)管村體制。