明朝洪武元年柴均壽從下圖山遷移到屠山，后柴氏修譜，改為上圖山。
上圖山有句口頭禪：柴李吳屠臧金凌方郎江，反映了當時居民大姓有十姓。
原先隸屬于圖山鄉(xiāng)，解放后建政時為上圖山農(nóng)會，1950年為場口區(qū)圖山鄉(xiāng)上圖山村（一村），1956年為東圖鄉(xiāng)五一高級農(nóng)業(yè)社，1958年為東圖公社上圖山民兵連，1960年為場口大公社上圖山管理區(qū)，1961年為東圖公社上圖山大隊，1984年3月為東圖鄉(xiāng)上圖山村，2003年12月屬場口鎮(zhèn)。