阿勒泰”来源于阿尔泰山。阿尔泰山，史书称之为“金微山”、“金山”。阿尔泰在突厥语和蒙古语里都是“金子”的意思，因此山蕴藏出产丰富的黄金。

公元前三世纪前塞种人驰骋于此地。其后裔为匈奴人、鲜卑人、突厥人等先后统治过这里。

秦末汉初，中国北方部族匈奴兴起，本地区是匈奴右地。匈奴日逐王建立的童仆都尉奴役压榨各国和新疆北部各部族，还经常侵扰西边塞，阻断丝绸贸易及使者交通。西域人民迫切要求摆脱压迫掠夺的痛苦。西汉顺应历史的潮流，团结西域各国并且派精兵强将对匈奴作战，取得辉煌的胜利。于公元前60年建立西域都护府，取代匈奴政权童仆都尉。西汉对匈奴的胜利是封建制农业国家先进的生产力对游牧畜牧业奴隶制落后生产力的胜利。自此蒙古高原西部的阿勒泰随之归入中国版图。

649年唐朝在西域设置属于安西大都护府的瑶池都督府，不久分为昆陵、蒙池二都督府，本地处于瑶池、昆陵都督府辖内。

宋辽金时期阿尔泰山黠戛斯等部都隶属于中原王朝。

清朝前期、中期、本地区都是蒙古各部的封地，归属于清朝委派的科布多参赞大臣管辖岘一里雅苏台定边

左副将军节制。实行的是军府制度，即由历朝沿袭下来的大体相同的治理边塞的军政制度。主要职责是边防军务，兼管屯垦。

辛亥革命后，阿尔泰改设办事长官，直隶中央。

1913年设置承化县佐；

1919年改设阿山道，阿尔泰正式归并新疆。

1921年始设承化县。

1949年12月改称阿山区行政督察专员公署。

1953年改称阿泰县；

1954年经国务院批准成立伊犁哈萨克自治州，改称为阿勒泰专区，隶属伊犁哈萨克州。

1979年称阿勒泰地区行政公署。