1949年至1952年，為韋家灣村，隸屬于二區(qū)韋家灣村；1953年至1958年8月，為韋家灣村委，隸屬于韋家灣鄉(xiāng)；1958年9月至1961年4月，為韋家灣生產大隊，隸屬于義牒公社，大隊駐韋家灣村；1961年5月至1984年3月，從義牒公社劃分出，設立韋家灣鄉(xiāng)，其隸屬于韋家灣鄉(xiāng)；1984年4月至1999年，大隊改村民委員會，為韋家灣村民委員會，隸屬于韋家灣鄉(xiāng)；2000年，石樓縣撤鄉(xiāng)并鎮(zhèn)后，其隸屬于前山鄉(xiāng)，村委駐地辛關村；2020年5月撤前山鄉(xiāng)設辛關鎮(zhèn)，其隸屬辛關鎮(zhèn)；2021年8月高家山村委與韋家灣村委合并，命名韋家灣村民委員會，至今不變。