済南市は、悠久の歴史を持つ都市であり、1986年12月に中国歴史文化都市に指定されました。泉城広場は済南市の観光名所であり、今や新しい都市シンボルとなっています。
秦の始皇帝は、中国統一を成し遂げた後、郡県制を中国全土に施行しました。現在の済南市は当時の済北郡に属し、歴下邑と称されています。前漢時代には、済南郡が置かれたことが名の始まりです。
隋の開皇3年(隋文帝の時代)、済南郡は斉州に改められました。隋唐の時期には、済南市で仏教が広まるとともに、多くの仏教寺院などの旧跡名所がこの地に集中しました。主に歴城柳埠鎮にある四門塔、龍虎塔、九頂塔、及び千仏山、青銅山、竜塔などにある石窟と彫像が保存されています。四門塔は、中国に現存している最も古い石塔であり、近くにある千仏崖石窟造像(龍虎塔、九頂塔を含め)とともに、中国文物保護施設とされています。
宋の時代になると、済南市は「斉州」と称し、北宋と南宋の交替時期には、済南市で「二安」と呼ばれる李清照と辛棄疾が、文壇で活躍しました。女流詩人・李清照(号易安)の作品は、清新な感覚のうちに、独特な特質を持ち、芸術的な造儀が高いです。李清照は婉約派という宋詞の流派の宗匠であるとされ、清照詞園は残されています。金の時代には済南市はまだ「府」とされ、山東省東路に属していました。元の時代から文学者が輩出しました。
明清両代に、済南は経済が発展しつつあり、清の康熙帝以降、大規模な商業都市となり、1929年、正式に済南市と設置されました。