呂梁的建置，最早可追溯到春秋時(shí)代。
當(dāng)時(shí)呂梁有屈邑、平陵邑、中陽(yáng)邑及瓜衍縣等。
公元前376年，韓、趙、魏“三家分晉”以后，呂梁為趙國(guó)境域，境內(nèi)設(shè)有中陽(yáng)、茲氏、大陵等。
秦莊襄王四年（前246）設(shè)太原郡后，呂梁遂為太原郡境域，設(shè)有大陵、茲氏等縣。
漢初，呂梁仍為太原郡境域。
漢武帝元朔四年（前125）分設(shè)西河郡后，呂梁分屬西河、太原、平陽(yáng)三郡。
大陵、平陶、茲氏為太原郡轄縣；藺、皋狼、中陽(yáng)、離石、土軍、隰成、臨水為西河郡轄縣；蒲子縣為平陽(yáng)郡轄縣。
王莽代漢后，茲氏縣改茲同，大陵縣改大寧，平陶縣改多穰，臨水縣改監(jiān)水。
東漢始立后各縣遂復(fù)舊名。
東漢初，呂梁屬于西河、太原、河?xùn)|三郡。
離石、藺、皋狼、臨水、中陽(yáng)、平周為西河郡轄縣；大陵、平陶、茲氏為太原郡轄縣；蒲子縣屬河?xùn)|郡。
永和五年（140）九月“因匈奴寇掠，西河郡治南徙五百九十里”遷至離石縣，為呂梁境內(nèi)最早的郡級(jí)建置。
同年，臨水縣并入離石。
中平年間美稷縣“南徒于茲氏縣界，尋廢”。
建安二十一年（218）“南匈奴內(nèi)附”，左部居于茲氏，中部居于大陵。
三國(guó)初分，呂梁為魏國(guó)境域。
黃初二年（221）設(shè)置西河郡，治茲氏縣，轄離石、中陽(yáng)等縣；大陵、平陶二縣仍屬太原郡，蒲子縣仍為平陽(yáng)郡轄縣。
西晉，呂梁境內(nèi)各縣分屬于西河國(guó)和太原國(guó)，屬縣未變，僅茲氏縣改隰城。
東晉十六國(guó)時(shí)期，呂梁境內(nèi)較為混亂。
后趙石勒元年（319）“以離石縣境荒廢”設(shè)置永石郡，尋改西河，后燕置離石護(hù)軍。
永興后西河郡并入太原郡。
北魏初立，呂梁為太原郡境域，設(shè)置有大陵、平陶、茲氏等縣。
天興初增設(shè)離石鎮(zhèn)，延和三年（434）設(shè)吐京鎮(zhèn)，太平真君九年（448），吐京鎮(zhèn)下設(shè)嶺東、嶺西二縣，平陶縣移出區(qū)境，大陵縣改受陽(yáng)。
太和八年（484）復(fù)置西河郡，太和十年（486）吐京鎮(zhèn)改吐京郡，同年，廢蒲子縣，設(shè)汾州，吐京、西河等五郡為其轄郡。
太和十七年（493）設(shè)永安縣，太和二十一年（497）嶺東縣改新城，嶺西縣改吐京。
東魏，呂梁仍為汾州和太原郡境域，汾州轄西河、吐京等郡，隰城、永安二縣屬西河郡；吐京、新城二縣屬吐京郡；受陽(yáng)縣仍屬太原郡，離石境域仍設(shè)離石鎮(zhèn)。
北齊、北周之際，呂梁當(dāng)兩政權(quán)紛爭(zhēng)之地，北齊斛律金所筑長(zhǎng)城的起點(diǎn)——金鎖關(guān)即在區(qū)內(nèi)黃蘆嶺上，今遺址尚存。
當(dāng)時(shí)呂梁境內(nèi)設(shè)有西汾州懷政郡、南朔州西河郡、吐京郡神武郡和并州太原都。
南朔州系由汾州改稱，治所仍設(shè)隰城，西河郡隸屬之。
離石鎮(zhèn)改懷政郡，轄縣有昌化、良泉等縣，蔚汾縣屬神武郡，受陽(yáng)縣屬太原郡，吐京、新城二縣屬吐京郡，后因裁郡改屬懷政郡。
北周建德年間，西汾州改稱石州；大象年間，南朔州改稱介州；并增設(shè)定胡、窟胡、烏突三縣及同名郡。
隋，呂梁分屬于離石郡、西河郡、太原郡、樓煩郡、龍泉郡。
離石、修化（窟胡縣改）、太和（烏突縣改）、平夷、定胡、寧鄉(xiāng)等縣屬離石郡，西河郡轄縣有隰城、永安二縣，受陽(yáng)縣仍屬太原郡，嵐城縣屬樓煩郡，石樓縣屬龍泉郡。
唐代，呂梁分屬于石州、汾州、隰州、嵐州、并州（后改太原府）。
西河（隰城縣改）、孝義（永安縣改）二縣屬汾州，離石、平夷、定胡、臨泉、方山屬石州，宜芳、合河二縣屬嵐州；石樓、溫泉二縣屬隰州，交城、文水二縣屬并州（太原府）。
五代時(shí)期，呂梁境域內(nèi)所屬未變。
宋代，呂梁分屬于石州、汾州、嵐卅、隰州，晉寧軍、太原府。
離石、平夷、方山為石州轄縣。
西河、孝義為汾州轄縣；宜芳、合河為嵐州轄縣；石樓、溫泉為隰州轄縣；定胡、臨泉為晉寧軍轄縣；交城、文水二縣為太原府轄縣。
金代，僅因晉寧軍被撤銷，轄縣改屬石州，其它州縣的隸屬未變。
元代，呂梁大部屬于太原路（后改冀寧路）管轄，境內(nèi)設(shè)置有交城縣、文水縣、興州、嵐州、臨州、石州（轄離石縣、寧鄉(xiāng)縣）、汾州（轄縣有西河縣、孝義縣）。
石樓為晉寧路轄縣。
明初，呂梁除石樓縣屬隰州外，境內(nèi)州縣均屬太原府。
縣有興縣、嵐縣、臨縣、交城、文水，州有石州（轄寧鄉(xiāng)縣）、汾州（轄孝義縣）。
萬(wàn)歷二十三年（1595）五月，汾州升為府，并倚郭設(shè)汾陽(yáng)縣，原太原府所轄州縣、臨縣、永寧州及轄縣寧鄉(xiāng)縣和原汾州轄縣改屬汾州府，府治設(shè)汾陽(yáng)縣城。
萬(wàn)歷四十年（1612）石樓縣改屬汾州府，清代沿用明制，建置未變。
1912年取消汾州府建置，永寧州廢州改縣。
1914年1月，永寧縣改離石，寧鄉(xiāng)縣改中陽(yáng)。
1918年，增設(shè)方山縣。
抗日戰(zhàn)爭(zhēng)和解放戰(zhàn)爭(zhēng)期間，呂梁各縣均屬晉綏邊區(qū)（先稱晉西北）行政公署。
1949年9月，山西省人民政府成立以后，呂梁境內(nèi)設(shè)興縣專區(qū)和汾陽(yáng)專區(qū)，興縣專區(qū)轄有興縣、臨縣、離石、方山、嵐縣等11縣，汾陽(yáng)專區(qū)轄縣有汾陽(yáng)、孝義、交城、文水、中陽(yáng)、石樓等9縣。
1951年3月27日汾陽(yáng)專區(qū)撤銷，交城、文水、汾陽(yáng)、孝義等縣劃歸榆次專區(qū)，中陽(yáng)縣劃歸興縣專區(qū)；石樓縣劃歸晉南專區(qū)。
1952年7月1日，興縣專區(qū)撤銷，興縣、嵐縣劃歸雁北專區(qū)；臨縣、方山、離石、中陽(yáng)劃歸榆次專區(qū)。
1954年7月1日，離石、方山二縣合并為離山縣。
1958年11月10日，文水、交城二縣并入汾陽(yáng)縣，中陽(yáng)縣與離山縣合并為離石縣，孝義縣并入介休縣，嵐縣分別劃入靜樂(lè)和興縣，石樓縣并入?yún)瘟嚎h。
1959年9月19日除孝義縣以外其它各縣恢復(fù)建置，1961年5月恢復(fù)孝義縣建置。
1971年5月，呂梁地區(qū)組建，同時(shí)恢復(fù)方山縣，新增設(shè)婁煩、交口二縣；1972年4月，婁煩縣劃歸太原市；1971年10月5日，新增設(shè)柳林縣。
1992年孝義撤縣設(shè)市；1996年離石撤縣建市；1996年汾陽(yáng)撤縣建市；2003年，離石市改為離石區(qū)。
2003年，呂梁撤地設(shè)市至今。