ここは6000年前から人間が生活をしていました。東周(前256年―前770年)の時代、当時の山東地域で即墨(jimo)と呼ばれる二番目に誇る町から成り立っている。
秦の始皇帝は中国を統一した後、青島の膠南市に位置する琅琊台に三度も登りました。始皇帝の部下―徐福が船隊を率いて、ここから朝鮮と日本に渡りました。漢の時代の武帝が膠州湾の辺の女姑山に先祖を祭る「明堂」九つを設置した。清末、青島はすでに華やかな町に成長し、膠澳と称していた。
1891年6月14日、清政府は青島の建設のため、膠澳に堤防を設けた。1897年11月、ドイツが強制的にこの地に派兵しこの地を租界地とした。1914年、第一次世界大戦が勃発し、11月に日本が青島を占領し、ドイツに代わって青島に対して軍事的、殖民地的な統治を行った。1919年、中国近代史に有名な「五四運動」が青島返還に起因したのである。1922年12月10日、中国は青島を取り戻し、開放都市にした。
1929年7月に青島特別区が設けられた。1930年に「青島市」に改称された。1938年、日中戦争のため,青島は再び占領された。1945年9月に国民党政府に返還され,特別区に指定された。やがて1949年に中華人民共和国が成立した直前の6月2日に解放された。
1986年,青島市は国家計画個別列案の中に並べられ、省一級の経済管理権限が与えられた。1994年に全国15の副省級都市の中の一つに並べられた。