明清兩朝回瑤稱(chēng)均亭里。
明代屬群玉鄉(xiāng)。
清代康熙年間仍屬群玉鄉(xiāng)。
清道光均亭里轄29個(gè)自然村。
民國(guó)十七年（1928）廢里，成立回瑤鄉(xiāng)，下轄44個(gè)自然村，隸屬一區(qū)童游。
民國(guó)二十一年（1932）成立回瑤聯(lián)保，屬二區(qū)（童游）。
民國(guó)二十五年（1936）屬一區(qū)（城坊）。
民國(guó)二十九年（1940）撤聯(lián)保，成立回瑤鄉(xiāng)，屬一區(qū)（城坊）。
民國(guó)三十年（1941）直屬縣政府。
民國(guó)三十四年（1945）全縣合并鄉(xiāng)鎮(zhèn)，回瑤鄉(xiāng)撤銷(xiāo)。
中華人民共和國(guó)成立后，1950年分別成立回瑤鄉(xiāng)、洪尾鄉(xiāng)、溪源鄉(xiāng)、溪口鄉(xiāng)，屬三區(qū)（徐市）管轄。
1952年調(diào)整部分政區(qū)，回瑤鄉(xiāng)、洪尾鄉(xiāng)、溪口鄉(xiāng)統(tǒng)稱(chēng)東南鄉(xiāng)，屬城關(guān)區(qū)（城關(guān)鎮(zhèn)），1958年人民公社化后（1962年前）成立回瑤大隊(duì)，隸屬城關(guān)公社。
1984年回瑤大隊(duì)改為回瑤村村民委員會(huì)，屬童游鄉(xiāng)管轄。
2002年12月后，歸潭城街道管轄。
2022年2月23日后，歸寶山街道管轄。