夏商周時期，屬索離國、秦漢時，為夫余國屬境。

魏晉南北朝時期，屬鮮卑和豆莫簍。

隋唐時期，屬室韋都督府管轄。

遼金兩代，屬上京路、東京路，屬漢軍萬戶居住地。

元代，屬遼陽行中書省所轄的開元路和水達達路。

明朝，先歸屬大寧都指揮使司，后屬奴兒干都司。

清初，齊齊哈爾地區(qū)屬盛京內(nèi)務(wù)府管轄，不久歸屬寧古塔將軍。

康熙二十二年（1683年）起，改屬黑龍江將軍管轄。

康熙二十四年（1685年），設(shè)卜奎驛站，逐步成為黑龍江西部地區(qū)諸驛站的中心，并發(fā)展為村落。

康熙三十年（1691年），清廷準奏在卜奎站建齊齊哈爾城，并授索倫總管瑪布岱副都統(tǒng)銜，掌管建城事宜。

康熙三十八年（1699年），黑龍江將軍衙門移住齊齊哈爾城。

直至清末，黑龍江將軍衙門與齊齊哈爾副都統(tǒng)衙門合署管轄齊齊哈爾。

光緒三十一年（1905年），在省城設(shè)黑龍江分巡道及其所屬的黑水廳，管轄齊齊哈爾。

次年，裁撤齊齊哈爾副都統(tǒng)。

光緒三十三年（1907年），清政府廢黑龍江將軍，建黑龍江行省，將黑水廳改為龍江府，齊齊哈爾由省垣巡警局和龍江府管轄。

民國十三年（1924年），成立黑龍江省城市政公所，管理齊齊哈爾市事宜。

民國十八年（1929年），黑龍江省城市政公所改組為黑龍江省城兼商埠市政局，主管黑龍江省城齊齊哈爾及商埠界內(nèi)市政諸事，直隸于黑龍江省政府。

民國二十年（1931年），九一八事變后，日本帝國主義侵占齊齊哈爾，設(shè)置偽滿龍江省，齊齊哈爾仍為省城。

民國二十五年（1936年），建立偽齊齊哈爾市公署，隸屬偽滿龍江省公署。

此為齊齊哈爾設(shè)市之始。

民國三十四年（1945年），日本帝國主義投降后，成立民主政權(quán)齊齊哈爾市政府，隸屬嫩江省。

民國三十六（1947年）至1949年，先后隸屬黑龍江嫩江聯(lián)合省、黑龍江省。

1954年，黑龍江省會由齊齊哈爾市遷往哈爾濱市，齊齊哈爾市始為省轄市。

1958年，齊齊哈爾市劃歸嫩江專區(qū)專員公署管轄。

1960年，嫩江專區(qū)撤銷，其所轄各縣劃歸齊齊哈爾市領(lǐng)導(dǎo)，始行市管縣體制，齊齊哈爾市復(fù)為省轄市。

1961年，恢復(fù)嫩江地區(qū)專員公署，齊齊哈爾市及所轄各縣歸其管轄。

1964年，齊齊哈爾市再次改為省轄市。

1967年，齊齊哈爾市人民委員會撤銷，成立齊齊哈爾市革命委員會。

1980年，齊齊哈爾市革命委員會改稱齊齊哈爾市人民政府。

1984年12月15日，經(jīng)國務(wù)院批準，撤銷嫩江地區(qū)。

將訥河、拜泉、龍江、依安、克山、克東、甘南、泰來、富裕、林甸、杜爾伯特蒙古族自治縣共十一縣劃歸齊齊哈爾市管轄。

1992年8月21日，經(jīng)國務(wù)院批準，將齊齊哈爾市的林甸、杜爾伯特蒙古族自治縣劃歸大慶市管轄。