绥化历史悠久。大约在1万年前旧石器时代，绥化市境内就有古人类繁衍、生息。
夏商时期，绥化为肃慎地。“肃慎者，虞夏以来东方大国也”。自虞舜至夏、商、周时，肃慎与中原华夏各族关系一直很密切。
西周至西汉时期，今绥化市的庆安、绥棱、海伦、望奎、兰西等市县仍为肃慎地；西部的明水、青冈、安达，西南部的肇东等市县为涉貊地东汉至两晋，绥化属夫馀地，夫馀世居东北，是貊族的后裔。晋时，绥化市大部分市县属夫馀的寇漫汗，其农牧经济、文化和习俗都深受中原影响。这一时期，夫馀地仍臣服于当时的中原王朝。
南北朝时期，绥化属勿吉地。勿吉先后与南朝、北魏王朝建立了臣属朝贡关系。
隋唐时期，属靺鞨黑水部、黑水靺鞨地。唐代，分别归属于唐渤海都督府和黑水都督府所辖。
宋辽金时期，绥化先后归契丹族建立的辽、女真族建立的金管辖。
元朝时期，绥化市为成吉思汗幼弟帖木哥斡赤斤的分封地，即归元朝的开元路管辖。这一时期农业得到较大的发展。
明朝时期，绥化为努儿干都指挥使司所辖。主要居住着女真族和汉族、蒙古族、朝鲜族和其他少数民族。
清朝时期，绥化归镇守黑龙江将军管辖。清王朝建立之初，视东三省为“龙兴之地”，实行封禁政策，将东三省山林、土地当作皇室围场，严禁开发耕种。清咸丰十年(1860年)经黑龙江将军特普钦奏准，开始出放民荒。清光绪十一年(1885年)设绥化理事通判厅，光绪三十年十二月二十四日（1905年1月29日）由厅升府。光绪三十三年(1907年)，在东北设东北三省总督，统辖奉天、吉林和黑龙江三省，绥化归黑龙江省管辖。
