先秦衡陽地區(qū)古屬三苗、楊越，戰(zhàn)國時(shí)為楚國所轄，為楚南重鎮(zhèn)。
前221，秦始皇統(tǒng)一全國并將原楚國南部分為黔中、長沙兩郡，衡陽地域?qū)儆陂L沙郡。
西漢高祖5年（202）始建酃縣（治今珠暉區(qū)酃湖鄉(xiāng)，中國西漢至隋朝初年酃縣指衡陽市珠暉區(qū)酃湖，宋代至新中國成立之初酃縣指炎陵縣），后設(shè)立鐘武侯國、重安侯國。
三國衡陽分屬于衡陽郡和湘東郡，出現(xiàn)二郡分立的情況。
220年，孫吳于長沙郡東南設(shè)置湘東郡，郡治設(shè)酃縣（今珠暉區(qū)酃湖鄉(xiāng)）；并于長沙郡西部設(shè)衡陽郡，下轄蒸陽（今衡陽縣）、重安（今衡南縣）、湘南、湘西（今衡山、衡東、南岳區(qū)）、湘鄉(xiāng)、益陽等縣。
此為歷史上首次出現(xiàn)以衡陽命名的郡。
西晉置衡州，治衡陽。
東晉、南北朝先后設(shè)湘東郡、衡陽王國（轄今衡陽市、婁底市、益陽市、湘鄉(xiāng)市、寧鄉(xiāng)縣、韶山市、等地）、湘東王國（今衡陽市、茶陵、炎陵、攸縣、雙峰、安仁等地），首府設(shè)衡陽。
前589，隋滅陳并改郡為州，改湘東、衡陽兩郡為衡州、臨蒸為衡陽縣，州、縣城均在江東東岸。
此為歷史上首次出現(xiàn)以衡陽命名的縣。
唐朝唐天寶年間又將衡州改稱衡陽郡，直至唐乾元元年才復(fù)用衡州。
肅宗至德二年置衡州防御使，領(lǐng)衡、涪、岳、潭、郴、邵、永、道八州。
764年，唐王朝為了加強(qiáng)對湖南地區(qū)的控制，設(shè)置湖南觀察使。
這是歷史上最早出現(xiàn)“湖南”之名，湖南觀察使駐衡州。
宋朝為衡州衡陽郡。
元朝確定行省制度，省下設(shè)路，改置衡州路，在衡州設(shè)湖南宣慰司，屬湖廣行�。ㄖ挝洳�，今武漢）。
元貞元年(1295)衡永郴桂諸路人民抗糧、抗丁，起義頻繁，朝廷于衡州設(shè)行樞密院。
明朝置衡州府，屬湖廣行�。ㄖ挝洳�，今武漢）。
下轄衡陽縣（衡陽市區(qū)、衡陽縣、衡南縣）、衡山縣（南岳區(qū)、衡山縣、衡東縣）、耒陽縣（耒陽市、安仁縣）、常寧縣（常寧市）、茶陵州（茶陵縣、攸縣、炎陵縣、安仁縣）、桂陽州（桂陽縣、臨武縣、藍(lán)山縣、嘉禾縣），明朝中后期設(shè)桂王藩國，都衡陽。
清代湖廣行省分為左、右布政使司，康熙三年（1664）分為湖南、湖北兩省。
置衡永郴道，駐衡州府，領(lǐng)衡州府（衡陽縣、清泉縣、衡山縣、耒陽縣、常寧縣、安仁縣、酃縣、桂陽州、臨武縣、藍(lán)山縣、嘉禾縣）、永州府（零陵縣、祁陽縣、東安縣、道州、寧遠(yuǎn)縣、永明縣、江華縣、新田縣）、郴州（永興縣、宜章縣、興寧縣、桂東縣），雍正十年(1732)增領(lǐng)桂陽州，更名衡永郴桂道。
1676年，吳三桂在衡陽稱帝，國號周。
衡陽稱應(yīng)天府（國都）。
1914年，廢府存道，改衡永郴街道為衡陽道。
1936年，湖南設(shè)立行政督察區(qū)，衡陽先后屬于第五和第二行政督察區(qū)，專員公署駐衡陽，轄衡陽、衡山、常寧、耒陽、攸縣、安仁、酃縣、茶陵。
1939年春，因抗日戰(zhàn)爭的緣故湖南省政府自沅陵遷至耒陽，省政府設(shè)在水東江至竹市一帶，秘書廳設(shè)杜陵書院（今耒陽一中）。
1942年，衡陽縣東華、雁峰、西湖、石鼓、江東5鎮(zhèn)和城郊的廣福、奇罡、酃湖3鄉(xiāng)區(qū)域設(shè)置衡陽市。