明清時屬即墨縣仁化鄉(xiāng)。
1898年德國侵占后，屬膠澳租界青島區(qū)，為德國"提督府"所在地。
1929年屬青島特別市。
1938年-1945年屬日偽“青島特別市"。
1945年抗日戰(zhàn)爭勝利后，國民黨政府于1946年將青島市區(qū)分為市南等4個區(qū)，以位于市區(qū)南部，故名。
新中國成立后，1949年市南區(qū)境分置為市南、臺西、浮山3個區(qū)，并設(shè)區(qū)公所，青島市政府駐市南區(qū)。
1951年市南區(qū)公所改為市南區(qū)人民政府，沿用至今。
1954年市南區(qū)轄9個街道。
1955年將浮山、湛山地區(qū)劃歸市南區(qū)，設(shè)置兩個街道。
1958年設(shè)立浮山人民公社，屬市南區(qū)。
1963年初所轄11個街道調(diào)整合并為7個。
同年3月經(jīng)國務(wù)院批準，撤銷臺西區(qū)，將所轄的云南路、鄆城北路、單縣路、臺西路、南村路5個街道劃歸市南區(qū)，另一部劃歸市北區(qū)。
1984年撤銷浮山人民公社，將浮山、湛山地區(qū)重新劃為湛山、浮山、辛家莊3個街道。
1992年撤并鄆城北路，設(shè)立西陵峽路街道。