西漢初期，西域三十六國就有婼羌、鄯善、且末、小宛、山國、倉頭、渠犁、焉耆、危須、烏壘、樓蘭等國地。
西漢太初四年(前101)，漢朝在西域設(shè)“使者校尉”，在今庫爾勒、輪臺(tái)一帶屯田。
神爵三年(前59)，西漢政府在烏壘(今輪臺(tái)縣境)設(shè)西域都護(hù)府，治理西域全境。
魏晉時(shí)設(shè)西域長史于樓蘭以統(tǒng)之。
北魏在北部設(shè)焉耆鎮(zhèn)，南部設(shè)西戎校尉府于鄯善鎮(zhèn)（今若羌附近），隋在南部設(shè)鄯善郡和且末郡。
唐貞觀二十二年(648)置焉耆都督府，南部屬沙州。
北宋分屬西州回鶻及于闐。
南宋歸西遼。
元屬別失八里行尚書省。
明正德九年（1514），賽德汗建立葉爾羌汗國，州境受其統(tǒng)治。
清乾隆二十四年(1759)，置喀喇沙爾辦事大臣。
“絲綢之路”南道的卡墻(今且末縣)、卡克里克(今若羌縣)隸屬于闐辦事大臣管轄。
乾隆三十六年(1771)，蒙古土爾扈特及和碩特部回歸祖國，安置土爾扈特南路四旗、和碩特中路三旗游牧于珠勒都斯等地，由喀喇沙爾辦事大臣兼轄，伊犁將軍節(jié)制。
光緒八年(1882)設(shè)喀喇沙爾直隸廳，光緒二十四年(1898)升為焉耆府，先后管轄新平（今尉犁）、若羌、輪臺(tái)三縣隸阿克蘇道。
1920年，另設(shè)焉耆道。
1928年，改置焉耆行政區(qū)，行政長駐焉耆。
1943年改為焉耆督察專區(qū)。
1950年4月12日，成立焉耆專員公署，轄焉耆、輪臺(tái)、和靖、庫爾勒、和碩、尉犁、婼羌、且末8縣，專署駐焉耆縣。
1954年6月23日，撤銷焉者專署，成立巴音郭楞蒙古自治州(轄焉耆、和靖、和碩3縣)和庫爾勒專署(轄庫爾勒、輪臺(tái)、尉犁、婼羌、且末5縣)。
1960年12月，庫爾勒專署并入巴音郭楞蒙古自治州，州政府由焉耆遷址庫爾勒。
1970年4月，設(shè)置博湖縣。
1979年10月，成立庫爾勒市。
1984年4月，將庫爾勒縣并入庫爾勒市。
巴音郭楞蒙古自治州轄庫爾勒市、輪臺(tái)縣、尉犁縣、若羌縣、且末縣、焉耆回族自治縣、和靜縣、和碩縣、博湖縣八縣一市。