黃山市文明的源頭可以追溯到距今5000多年前。
從歙縣、祁門等地出土的文物表明，今黃山市一帶早在舊石器時(shí)期就已有先民生活。
新石器時(shí)代，先民們已創(chuàng)造原始土著文化。
春秋戰(zhàn)國(guó)先屬吳，吳亡屬越，越亡屬楚，直至秦王嬴政二十四年（前223年）滅楚。
但這些都只是地域上的歸屬，并非實(shí)質(zhì)性的管轄。
當(dāng)時(shí)仍屬于相對(duì)獨(dú)立的古越土著的勢(shì)力范圍。
秦秦始皇二十六年（前221年），秦統(tǒng)一中國(guó)，推行郡縣制，隸屬于會(huì)稽郡。
秦始皇三十七年（前210年）正月，始皇帝嬴政東巡至?xí)ń裾憬B興一帶），為加強(qiáng)對(duì)東南地區(qū)的統(tǒng)治，將原越國(guó)的百姓遷徙至新安江上游一帶，設(shè)立黝（宋以后稱黟）、歙二縣，屬鄣郡。
這是黃山市地域最早的行政區(qū)劃建置，已有2000千多年歷史。
“黝”、“歙”二縣的縣名，來(lái)自于古越語(yǔ)地名的發(fā)音。
當(dāng)時(shí)的黝、歙兩縣轄地很廣。
歙縣地包括歙縣、休寧、屯溪區(qū)、徽州區(qū)、績(jī)溪，浙江的淳安及江西婺源的一部分。
黝縣地包括黟縣、祁門、石臺(tái)、廣德和黃山區(qū)的一部分。
西漢初期，黝、歙二縣相繼屬楚國(guó)、荊國(guó)、吳國(guó)、江都國(guó)，后屬丹陽(yáng)郡。
鴻嘉二年（前19年），改黝縣為廣德王國(guó)，廣德王城在今黟縣城東五里。
歙縣屬丹陽(yáng)郡。
第二年廢廣德王國(guó)，復(fù)設(shè)黝縣。
元始二年（2年），又設(shè)廣德王國(guó)。
新莽王莽篡權(quán)，建立新朝，于始建國(guó)二年（10年），貶廣德王為公，改黝縣為愬虜。
東漢東漢末年三國(guó)鼎立。
黝、歙二縣屬東吳領(lǐng)地。
當(dāng)時(shí)，這里的越人土著和一些避入山林的漢人，“依山阻險(xiǎn)，不納王租”，被稱為“山越”，勢(shì)力日益強(qiáng)大，對(duì)東吳的統(tǒng)治構(gòu)成嚴(yán)重威脅。
建安十三年（208年），吳主孫權(quán)派遣“威武中郎將”賀齊征服歙縣金奇、毛甘，黟縣陳仆、祖山等山越部落后，分歙縣東鄉(xiāng)地置始新縣，南鄉(xiāng)地置新定縣，西鄉(xiāng)地置黎陽(yáng)縣、休陽(yáng)縣，加黟、歙共六縣建新都郡。
治所始新（故城在今浙江淳安縣西）。
這是黃山市地域州郡一級(jí)行政設(shè)置的開始，從此成為相對(duì)獨(dú)立的行政區(qū)劃。
三國(guó)吳永安元年（258年），避吳主孫休名諱，改休陽(yáng)縣為海陽(yáng)縣。
西晉太康元年（280年），滅吳國(guó)，改新都郡為新安郡，所屬新定縣改為遂安縣，海陽(yáng)縣為海寧縣。
新安郡轄始新、黝、歙、遂安、黎陽(yáng)、海寧縣，郡治在始新縣。
郡名新安，一說(shuō)以祁門縣新安山為名，一說(shuō)取其安定之意。
南北朝南朝宋大明八年（464年），并黎陽(yáng)縣入海寧縣。
南朝梁普通三年（522年），劃吳郡壽昌縣入新安郡。
南朝梁大同元年（535年），析歙縣華陽(yáng)鎮(zhèn)置良安縣。
南朝梁承圣二年（553年），又析海寧、黝、歙各一部分重設(shè)黎陽(yáng)縣。
當(dāng)時(shí)境內(nèi)有兩個(gè)郡：一個(gè)是新設(shè)的新寧郡，轄海寧、黝、歙、黎陽(yáng)縣，治所海寧；另一個(gè)為新安郡，轄始新、遂安、壽昌、良安縣，治所始新。
南朝陳天嘉三年（562年），將新寧郡并入新安郡，黎陽(yáng)縣并入海寧縣。
新安郡轄歙、黝、海寧、始新、遂安、壽昌6縣。
隋隋朝重新統(tǒng)一中國(guó)。
開皇九年（589年），改始新縣為新安縣，并遂安、壽昌入新安縣，隸婺州。
改新安郡為歙州，領(lǐng)海寧、黝、歙縣，治海寧（一說(shuō)并黝、歙入海寧，劃歸婺州）。
開皇十一年（591年），歙州轄黝、歙、海寧縣，治黝縣。
開皇十八年（598年），取“休陽(yáng)”、“海寧”各一字改海寧縣為休寧縣，郡治在萬(wàn)歲山（又名萬(wàn)壽山，即今休寧縣萬(wàn)安鎮(zhèn)東古城巖）。
大業(yè)三年（607年），復(fù)改歙州為新安郡，轄休寧、黝、歙縣，郡治休寧縣。
隋末動(dòng)亂，大業(yè)十二年（616年），歙縣人汪華起兵占據(jù)歙州及宣、杭、睦、婺、饒共6州，號(hào)稱吳王。
王城即設(shè)于休寧萬(wàn)安萬(wàn)歲山，這便是萬(wàn)歲山又稱為古城巖的來(lái)歷。
次年遷往歙縣烏聊山。
唐武德四年（621年），汪華歸附唐朝，被封為越國(guó)公。
復(fù)改新安郡為歙州，州治歙縣。
并在歙縣設(shè)歙州總管，越國(guó)公汪華為總管府使，總管歙、宣、杭、睦、婺、饒六州軍事。
武德七年（624年），改總管府為都督府。
永徽五年（654年），平睦州女子陳碩真起義，析歙縣地置北野縣。
開元二十八年（740年），平休寧人洪貞起義，劃休寧回玉鄉(xiāng)及樂(lè)平懷金鄉(xiāng)置婺源縣。
天寶元年（742年），改歙州為新安郡，轄歙、休寧、黝、北野、婺源縣。
乾元元年（758年），復(fù)改歙州。
大歷元年（766年），平方清起義，析歙、休寧地置歸德縣，析黟縣赤山鎮(zhèn)和饒州浮梁地置祁門縣，劃歙縣華陽(yáng)鎮(zhèn)置績(jī)溪縣。
大歷五年（770年），廢北野縣入歙，廢歸德縣入休寧，歙州轄歙、休寧、黝、績(jī)溪、婺源、祁門縣，從此形成延續(xù)至清末達(dá)1700多年的“一府（州）六縣”格局。
五代十國(guó)歙州先后屬吳、南唐（江南）。
宋宣和三年（1121年），平歙州人方臘起義，改歙州為徽州，轄歙、休寧、黟、績(jī)溪、婺源、祁門縣，州治歙縣。
徽州名稱的由來(lái)，一說(shuō)“徽”為美義。
其實(shí)“徽”字本意為“繩索”、“捆綁”，以其命名，表達(dá)了宋王朝在經(jīng)過(guò)“動(dòng)蕩”之后，企望對(duì)這片土地加強(qiáng)約束和統(tǒng)治。
從此，直到清宣統(tǒng)三年（1911年）的790年間，作為州府名，徽州這一名稱一直沒(méi)有變更。
元至元十四年（1277年），改徽州為徽州路。
元貞元年（1295年），升婺源縣為州，徽州路領(lǐng)歙、休寧、黟、績(jī)溪、祁門縣和婺源州。
至正十七年（1357年），朱元璋部攻克徽州，改徽州路為興安府。
至正二十四年（1364年），又改興安府為徽州府。
明洪武元年（1368年），曾經(jīng)是朱元璋重要根據(jù)地的徽州府直隸中書省。
洪武二年（1369年），降婺源州為縣。
洪武八年徽州府直隸六部。
永樂(lè)元年（1403），改隸南京（不久改稱南直隸）。
清順治二年（1645年），徽州府隸屬江南省。
康熙六年（1667年）七月，康熙帝批準(zhǔn)建立安徽省（省名取“安慶”、“徽州”兩府首字），徽州府改屬安徽省，后屬安徽省徽寧道、徽寧池太道。
乾隆二十六年（1761年），隸安徽布政使。
咸豐四年（1854年），改屬徽寧池太廣道及皖南鎮(zhèn)，因清軍與太平軍在這一帶爭(zhēng)戰(zhàn)激烈，徽州府由浙江巡撫兼轄。
同治四年（1865年），復(fù)歸安徽省管轄。
中華民國(guó)民國(guó)元年（1912年），裁府留縣，徽州所屬各縣直屬安徽省。
民國(guó)二十年（1931年），實(shí)行“首席縣長(zhǎng)”制，原屬徽州各縣首席縣長(zhǎng)駐歙縣。
民國(guó)二十一年（1932年）10月，設(shè)安徽省第十行政督察區(qū)，轄休寧、婺源、祁門、黟、歙、績(jī)溪6縣，治所休寧。
民國(guó)二十三年（1934年）7月，婺源縣劃屬江西省，婺源縣和原屬徽州各縣士民隨即掀起“婺源回皖運(yùn)動(dòng)”。
民國(guó)二十七年（1938年）4月，成立皖南行政公署，治所屯溪，第十行政督察區(qū)隸之。
民國(guó)二十九年（1939年）3月，撤銷第十區(qū)機(jī)構(gòu)，保留名義，各縣直屬皖南行署。
同年8月，原第十區(qū)改為第七區(qū)，轄休寧、黟、歙、祁門、績(jī)溪、旌德6縣。
民國(guó)三十六年（1947年）6月，婺源縣劃歸安徽省，屬第七區(qū)。
民國(guó)三十八年（1949年）4月，第七區(qū)所屬7縣全境解放。
同年5月，成立徽州專區(qū)，隸屬皖南區(qū)人民行政公署。
專區(qū)治所初置歙縣，后遷屯溪。
全區(qū)領(lǐng)屯溪市和績(jī)溪、旌德、歙、休寧、黟、祁門6縣，婺源縣劃屬江西省。
同年5月6日，皖南軍區(qū)在屯溪正式成立。
同年5月7日，皖南行政公署在屯溪正式成立。
[21]中華人民共和國(guó)新中國(guó)成立后，徽州專區(qū)仍屬皖南區(qū)。
1952年2月，太平、石棣、寧國(guó)三縣劃屬徽州專區(qū)。
同年8月，撤銷皖南、皖北區(qū)，設(shè)安徽省，徽州專區(qū)改屬安徽省。
1953年12月，屯溪市直隸安徽省，專區(qū)轄歙、休寧、績(jī)溪、黟、祁門、旌德、太平、石棣、寧國(guó)9縣。
1955年，屯溪市改屬徽州專區(qū)。
1956年1月，徽州專區(qū)并入蕪湖專區(qū)。
1961年4月，重設(shè)徽州專區(qū)，領(lǐng)績(jī)溪、旌德、太平、歙、休寧、黟、祁門7縣和屯溪市。
同年8月，寧國(guó)縣劃屬徽州專區(qū)。
1965年8月，從太平縣劃出原石棣縣區(qū)域和貴池縣部分地區(qū)設(shè)石臺(tái)縣，屬池州專區(qū)。
1971年3月，改徽州專區(qū)為徽州地區(qū)。
1974年3月，太平縣劃屬池州地區(qū)。
1980年1月，寧國(guó)縣改屬宣城地區(qū)，太平、石臺(tái)2縣劃歸徽州地區(qū)。
1983年12月，撤銷太平縣，所轄區(qū)域與歙縣黃山公社、石臺(tái)縣廣陽(yáng)公社合并成立黃山市（縣級(jí)），由省直轄。
1986年6月，黃山市（縣級(jí)）改由徽州地區(qū)代管，徽州地區(qū)轄屯溪、黃山（縣級(jí)）2市和歙、休寧、黟、祁門、石臺(tái)、績(jī)溪、旌德7縣。
1987年11月，國(guó)務(wù)院發(fā)出《關(guān)于安徽省調(diào)整徽州地區(qū)行政區(qū)劃的批復(fù)》，撤銷徽州地區(qū)、屯溪市和縣級(jí)黃山市，設(shè)立地級(jí)黃山市。
原屬徽州地區(qū)的石臺(tái)縣劃屬池州地區(qū)，績(jī)溪、旌德2縣劃屬宣城地區(qū)。
1988年4月，地級(jí)黃山市正式成立。