商(殷)の時代、鄭州市は都「邑」でした。今の「鄭州商城遺跡」がその跡です。紀元前11世紀の西周時代、周王は弟の管叔鮮をこの地に封じ、管国と言い当時の重要都市でした。春秋時代には鄭の大夫-子産の封地となり、「管邑」又は「東里」と称されています。戦国時代、鄭州は魏に属し、始皇帝が中国を統一した後、「栄陽」(今の鄭州市邙山区古栄鎮)に「三川郡」を設置しました。
前漢になって鄭州は河南郡の中牟県に属し、「管城」と改称され、南北朝時代まで変わりありませんでした。北周武成元年(559年)、鄭州は「栄州」に属していましたが、隋(開皇3年、583年)になると「栄州」は「鄭州」と改称され、今の正式名称の最初です。唐武徳4年(621年)、鄭州は「成皋県」を管轄する「鄭州」と、「管城県」を管轄する「管州」、二つに分けられました。
北宋成立後、鄭州は都に近いため、「京畿路」に属し、金(1115年 - 1234年)になると「南京路」に属しました。清雍正2年(1724年)、鄭州は直属州に昇格し河南省に直属しました。1913年に「鄭県」と改められましたが1928年に「鄭州市」と、そして1931年に再び「鄭県」となりました。1933年、河南省第一行政監督責任者駐在地として存在し、1948年10月22日、人民解放軍が入城し鄭州県を廃止して鄭州市を設置しました。1954年、河南省人民政府が開封から鄭州市に移り、鄭州市は河南省省都となりました。