佳木斯，清康熙年間晚期寫作“甲母克寺噶珊”，后漢譯“嘉木寺”“賈木司”“佳木斯”。“佳木斯”一詞，滿語意為“驛丞”或“站官屯”。周屬肅慎，漢晉屬挹婁，南北朝屬勿吉，隋唐屬靺鞨，遼屬五國部，金屬胡里改路，元屬水達(dá)達(dá)路，明屬奴兒干都司，清屬吉林將軍三姓副都統(tǒng)轄區(qū)。1888年（清光緒十四年），于今市內(nèi)永紅區(qū)丈放“東興鎮(zhèn)街基”，1895年（光緒二十一年）廣商戶漸開”。1906年（光緒三十二年）設(shè)置依蘭府，歸依蘭府管轄。1910年3月1日（宣統(tǒng)二年正月二十日）正式設(shè)置樺川縣，改隸樺川縣管轄。樺川縣署駐東興鎮(zhèn)。中華民國成立后，1912年11月，樺川縣署遷駐悅來鎮(zhèn)。1930年佳木斯屯與東興鎮(zhèn)合并，定名為“佳木斯鎮(zhèn)”，隸屬樺川縣管轄。東北淪陷后，1934年12月1日，偽滿新設(shè)三江省，偽省公署駐佳木斯。同時，偽樺川縣公署移駐佳木斯鎮(zhèn)。1937年6月27日，偽滿決定，調(diào)整行政區(qū)劃，設(shè)置佳木斯市，12月1日正式成立偽佳木斯市公署，由三江省管轄。1945年抗日戰(zhàn)爭勝利后，同年10月下旬，在佳木斯成立三江地區(qū)行政公署；11月21日，撤銷三江地區(qū)，設(shè)置合江省，省政府駐佳木斯市。1946年將市郊純農(nóng)村部分村屯劃歸樺川縣管轄。1949年5月，撤銷合江省并入松江省，由松江省直轄。
1952年1月，將樺川縣的耿家、模范、雙合、四豐、中興5個村劃歸佳木斯市管轄。同年全市分設(shè)4個區(qū)。1954年8月，松、黑兩省合并后，由黑龍江省直轄。1956年3月，將與市郊周圍毗連的樺川縣太平山、三家子、新華、靠山、蒙古力、新民6個村劃歸佳木斯市管轄。同年3月，樺川縣人民委員會由佳木斯移駐湖南營鎮(zhèn)。1956年夏，撤銷市轄區(qū)，分設(shè)街道辦事處。1957年11月，將樺川縣的黑通、西格木、永安、大來崗、裕太、興華6個鄉(xiāng)和四合山鄉(xiāng)花園屯劃歸佳木斯市管轄。1958年1月，恢復(fù)市轄區(qū)，分設(shè)長安、三合、和平3個城市區(qū)和1個郊區(qū)。同年8月，佳木斯市劃歸合江專區(qū)代管。1959年3月，將樺川縣的悅來、新城、星火3個公社劃歸佳木斯市管轄。1961年1月，增設(shè)佳東區(qū)。同年3月，撤銷郊區(qū)。1964年8月，為縮小城市郊區(qū)，將郊區(qū)的大來、永安、西格木、悅來、建國、星火、拉拉街、蘇家店、中伏、梨樹、新城11個公社劃歸樺川縣管轄，西部大來、永安、西格木3個公社仍由佳木斯市代管。1966年2月，佳木斯市改由省直轄。1968年4月，劃歸合江地區(qū)管轄。同年，將長安、三合、和平、佳東4個區(qū)分別更名為向陽、永紅、前進、東風(fēng)區(qū)；將大來、永安、西格木3個公社移交樺川縣管轄。1972年恢復(fù)設(shè)立郊區(qū)，全市共轄5個區(qū)。1978年12月，將樺川縣大來、永安、西格木3個公社劃歸佳木斯市管轄。1982年8月，將依蘭縣的高峰、樺南縣的陡溝子和樺川縣的順山堡等6個生產(chǎn)大隊劃歸佳木斯市管轄。1983年11月1日，佳木斯市改由省直轄。1984年12月15日，國務(wù)院批準(zhǔn)，撤銷合江地區(qū)，實行地市合并，將其原轄的依蘭、湯原、樺南、樺川、蘿北、綏濱、富錦、集賢、寶清、饒河、同江、撫遠(yuǎn)、友誼13縣，于1985年1月1日正式劃歸佳木斯市。1987年2月，同江撤縣設(shè)市，由佳木斯市代管。同年11月，將佳木斯市所屬的蘿北、綏濱兩縣劃歸鶴崗市；將集賢縣劃歸雙鴨山市。1988年8月，富錦撤縣設(shè)市，由佳木斯市代管。
1991年4月1日，佳木斯市所屬的依蘭縣劃歸哈爾濱市；將寶清、友誼兩縣劃歸雙鴨山市。至此，佳木斯市共轄5區(qū)、5縣，代管兩個縣級市。1992年末，佳木斯市（不含轄縣）轄向陽、前進、永紅、東風(fēng)、郊區(qū)5個區(qū)，總面積1 094平方千米。2004年，經(jīng)省政府同意，佳木斯市對市轄區(qū)行政區(qū)域進行部分調(diào)整：將郊區(qū)松江鄉(xiāng)整建制劃歸東風(fēng)區(qū)管轄；將東風(fēng)區(qū)佳南辦事處的紅霞、三江、宏達(dá)、雙合四個社區(qū)劃歸前進區(qū)管轄；將郊區(qū)四豐鄉(xiāng)的南崗村整建制劃歸前進區(qū)管轄；將永紅區(qū)的建設(shè)街道、長安街道、友誼街道的西站、北鐵西、南鐵西三個社區(qū)和郊區(qū)長青街道的江南社區(qū)、萬發(fā)社區(qū)、長青鄉(xiāng)的長青村，四豐街道的和平社區(qū)、四豐鄉(xiāng)的新豐村劃歸向陽區(qū)管轄。同年，將郊區(qū)的建國鄉(xiāng)整建制劃歸東風(fēng)區(qū)管轄。2006年7月27日，撤銷佳木斯市永紅區(qū)，將其所轄行政區(qū)域劃歸佳木斯市郊區(qū)管轄。郊區(qū)人民政府駐友誼路。調(diào)整后，佳木斯市轄4個市轄區(qū)、4個縣，代管2個縣級市。2011年，撫遠(yuǎn)歸省直接管理。2016年1月15日，撫遠(yuǎn)撤縣建市。2017年11月26日，撫遠(yuǎn)市劃由佳木斯市代管。2017年12月28日，富錦市撤城關(guān)街道辦事處設(shè)富錦鎮(zhèn)，郊區(qū)西格木撤鄉(xiāng)建鎮(zhèn)。2018年5月10日，樺南縣設(shè)立柳毛河鎮(zhèn)，五道崗鄉(xiāng)。2018年7月2日，撫遠(yuǎn)市設(shè)立黑瞎子島鎮(zhèn)。2019年9月7日，“黑龍江建三江國家農(nóng)業(yè)科技園區(qū)管委會”正式揭牌。