圖們的地名來源於圖們江。圖們之名，在古籍頂用字很不同一，有“統們、馳滿、土門、豆滿”之稱，皆一聲之轉，都是指圖們江。圖們江位於吉林省東南邊境，是中國與朝鮮民主主義人民共和國的界河，也是延邊朝鮮族自治州第一條大河。金、元稱愛也窟河，其下遊段稱統門河，明稱啊也苦河，其下遊段稱徒門河，清朝時按滿語讀音譯作“土門江”。“土門”實在並非漢語，也不是朝鮮語，“土門”滿語原稱滿語原稱“tumen sekiyen”“土門色禽”，土門意為“萬”，色禽意思是“河源，亦即萬水之源。  

　　圖們原名灰幕洞，於1933年5月改名為圖們。此名取天圖們江，"圖們"為滿語，意為河流眾多。自1881年自1933年分別屬於琿春副都。1933年敦圖鐵路開通後，幾無人煙的“艾蒿甸子”人口驟增，變成了一個城鎮。1933年6月，“艾蒿甸子”改稱圖們，“圖們”為滿語音譯，意為萬水之源，隸屬延吉縣。1965年5月，設置圖們市，隸屬延邊朝鮮族自治州。 

　　1913年延吉縣建縣伊始，圖們劃為延吉縣誌仁鄉五甲依蘭溝管轄，時稱艾蒿甸子或灰幕洞，為一天然屯。跟著朝、漢墾民的遷入，到1925年時有居民20餘戶，仍稱艾蒿甸子或灰幕洞。1929年為延吉縣一區五甲轄。1930年為延吉縣一區艾葦鄉轄。1931年圖們始為百餘戶村屯，仍為延吉縣屬。 

　　“九.一八“事變後，延吉縣政府於1932年4月改稱偽延吉縣公署，灰幕洞（圖們）仍屬之。1933年6月1日，灰幕洞改稱圖們。1934年改稱偽間島省延吉縣圖們市。1936年圖們市改稱圖們街，市公署改稱街公署。1945年8月17日，圖們解放。國民黨分子和敵偽殘餘勢力於8月20日自行成立圖們地方臨時自治委員會。同年10月，圖們臨時自治委員會改稱圖們街公所。11月，圖們街公所改稱圖們街政委員會。 

　　1946年2月，中共圖們區委在民主大聯盟的協助下，對圖們街政委員會進行了整頓，改稱圖們市政府。1946年3月，正式成立圖們市政府。1949年9月，改稱延吉縣圖們市人民政府。1952年9月3日，隨延吉縣人民政府歸延邊朝鮮族自治區人民政府轄，後歸自治州人民政府轄。1956年3月，延吉縣人民政府撤銷圖們市建製，設立圖們鎮和農安鄉。同年4月，圖們鎮人民政府改稱圖們鎮人民委員會。1958年9月，將圖們鎮與農安鄉合並，建立圖們鎮人民公社。1964年11月，撤銷公社建製，恢複圖們鎮建製。  

　　1965年5月1日，根據國務院（65）議字9號關於設立圖們市的決定，經延邊朝鮮族自治州人民委員會批準，圖們市人民委員會成立，為延邊朝鮮族自治州直轄市（縣級），以延吉縣圖們鎮行政區域和汪清縣石峴鎮部門行政區域為圖們市行政區域，機關駐輿圖們，下轄新華、向上、石峴三個街道辦事處和新建一個紅光人民公社。1966年“文化大革命”開始後，圖們市人委癱瘓。1968年7月，圖們市革命委員會成立，替換市人民委員會。1969年7月，經吉林省革委會批準，將延吉縣月晴公社和汪清縣新農公社劃歸圖們市。1980年7月，改市革命委員會為圖們市人民政府。1980年8月，各公社革命委員會改稱公社治理委員會。1983年8月，撤銷人民公社建製，恢複鄉鎮建製，設鄉鎮人民政府。根據吉林省民政廳1984年11月15日（吉民行[1984]53號）文件精神，1985年2月，石峴街道辦事處與新農鄉合並，成立石峴鎮。1988年7月，將延吉縣長安鎮劃歸圖們市管轄。1991年7月，又將琿春市涼水鎮劃入圖們市。1995年2月，月晴村夫民政府改稱月晴鎮人民政府。2003年10月，經省政府批準，紅光鄉並入月晴鎮。圖們市現轄四鎮（月晴、石峴、長安、涼水）三個街道辦事處（向上、新華、月宮）。