近代的考古发掘中，在开封的万隆岗遗址中，在尉氏县县城西南的断头岗，发现了一处新石器早期裴李岗文化遗址。考古发掘证明，早在五、六千年前，在开封就已经有了人类活动。

夏朝（帝杼）曾在开封一带建都232年，史称老丘。商朝曾在开封一带建都27年，史称嚣。公元前8世纪，春秋时期的郑庄公在今开封城南朱仙镇附近修筑储粮仓城，取“启拓封疆”之意，定名启封。汉初因避汉景帝刘启之名讳，将启封更名为“开封”，这便是“开封”的由来。

公元前361年，战国时期的魏惠王迁都大梁，这是开封有明确历史记载的第一次建都。魏惠王迁都大梁之后，他引黄河水入圃田泽（今郑州圃田）开凿鸿沟、引圃田水入淮河。水利既兴，农业、商业得到极大发展，日趋繁荣。他还修长城、联诸侯，国力日盛，乃得称霸于诸国，使大梁城与秦国的咸阳、楚国的郢都并列，成为当时国内最发达的名都大邑。魏国在大梁建都，历六世136年。在这136年里，曾发生了孟子游梁、窃符救赵，以及孙膑、庞涓等诸多故事，也给开封遗留下不少古迹，不愧被人称为开封古城第一都

秦统一六国后，实行郡县制，开封作为败亡国的国都被降为浚仪县，属三川郡。“浚仪”作为开封的名称，一直沿用了八百年左右。 公元534年东魏孝静帝时，设立梁州辖陈留、开封、阳夏三郡。北周武帝建德五年，改梁州为汴州，这是开封称汴之始，由县治改为州治，失落了数百年的开封重又慢慢的恢复了元气，开封也成为北魏对南部各朝作战的水运线上的八个重要仓库之一。北齐文宣帝天保六年（555年）和天保十年（559年）分别建了著名的建国寺（大相国寺）和独居寺（今铁塔一带），佛文化的发展对后来的东京文化的勃兴做了前期的准备。隋炀帝时期开凿的两千多公里的大运河是沟通南北的大动脉。大运河的中段就是联通黄河与淮河的汴河。位于汴河要冲的开封，又是东都洛阳的重要门户，占尽天时地利的开封迅速发展。进入唐代之后，开封也是水陆便捷的大都会，唐高祖武德四年(公元621年))设汴州总管，唐玄宗天宝元年（742年），汴州一度改为陈留郡。唐德宗建中二年（781年），李唐的宗亲李勉到汴州任节度使，他增筑周围达22里的汴州城。后来李希烈叛乱时，靠汴州城阻叛军数月。永平节度使李勉扩建汴州城，规模宏大，坚固宽广，是今日开封城的雏形。

五代时期，除了后唐之外，后梁、后晋、后汉、后周先后定都于开封， 称之为“东都”或“东京”，这一时期的开封正式取代了洛阳成为那个时期的政治、经济、文化、军事中心。后梁定都开封十七年，时间虽短，但开封的租赋较轻，人民得到休养生息。同时，梁定都开封，使中国的政治中心从西部转向东部平原地区，具有重要的里程碑意义。923年，后梁灭亡，继起的后唐定都洛阳，开封仍置宣武军。936年，石敬瑭灭唐，建立后晋，又从洛阳迁都开封。947年后晋亡。后汉立国仍定都开封，951年，郭威发动澶州（今濮阳）兵变，灭后汉建后周。郭威勤政爱民，大力改革使后周出现了新的气象。954年，周世宗柴荣即位。柴荣在郭威的基础上，整顿朝纲，改革弊制，在内政和军事都取得了很大进展。他三次征伐南唐，夺得“淮南十四州”的土地，并恢复了江淮漕运，使开封经济进一步提升。955年，他又发动10万民夫在原汴州城外筑外城。

公元960年，后周殿前都点检赵匡胤在开封城北40里的陈桥驿（现属新乡市封丘县）发动“陈桥兵变”，建立了北宋，历经9帝168年，是开封历史上最为辉煌耀眼的时期，经济繁荣，富甲天下，人口过百万，风景旖旎，城郭气势恢弘，不仅是全国政治、经济、文化的中心，也是当时世界上最繁华的大都市之一。史书更以“八荒争凑，万国咸通”来描述开封。北宋画家张择端的作品《清明上河图》，图描绘了清明时节北宋京城汴梁及汴河两岸的繁华和热闹的景象和优美的自然风光。中国的对外交通已由汉唐以来的丝绸之路转向东南沿海的海路，火药、印刷术等中国的发明由此传向世界各地，开封以其泱泱大国的气象，跃居为那个时期世界上最为繁华的著名都城。

靖康二年（1127年）金国灭北宋后，称为“汴京”。贞元元年（1153年），海陵王完颜亮迁都到中都大兴府，改汴京为“南京开封府”，为金国陪都。1155年，汴京宋故宫发生大火，建筑几乎毁尽。正隆六年（1161年）初，完颜亮南下侵宋，一度以“南京开封府”为统治中心，贞祐二年（1214年），金宣宗为避蒙古军锋，迁都“南京开封府”。天兴二年（1233年），金哀宗在开封被蒙古军围困的情况下，逃出开封，迁都归德府（今商丘市）

元灭金后，设河南江北行中书省于开封。元朝末年，“天下义军共主”小明王韩林儿率领的红巾起义军，曾在开封建立“龙凤”大宋农民政权。

明朝初年，朱元璋为定都何地犹豫不决，洪武元年（1368年）三月，徐达带领北伐军攻取山东和河南，此时许多人向朱元璋建议定都汴梁。四月朱元璋来到汴梁考察，并将汴梁改称为开封府，考察结果令朱元璋满意，于是决定定地于此，并把应天也定为都城，实行两京制。但在八月初二时，明朝的北伐军大破大都（今北京）。八月下旬，有鉴于形势有变，在权衡开封的利弊后，朱元璋最终决定定都南京。

公元1368年，朱元璋改汴梁路为北京开封府，公元1379年，罢北京称号，封第五子朱橚就藩开封，称周王。“天下藩封数汴中”周王本身也很贤明，再加上开封府是河南承宣布政使司的治所，开封成为中原第一都会，开封城也仅次于北京和南京，是国际性大都市。

满清统治中原后，于公元1662年重修了开封城池，并将河南省治、开封府治均设置在开封。由于开封在明末遭遇的严重破坏，与历代相比，清代开封的经济黯然失色，手工业、商业、服务业都呈衰落的态势。但是，开封毕竟是省会，它仍具备商品集散地的重要作用。清代末年，开封是河南境内重要的革命中心。

中华民国改制，废开封府设豫东道。民国3年（1914年）祥符县改为开封县。民国18年（公元1929年）成立开封市。民国21年（公元1932年）设行政督察区。1938年日军占领开封，省会西迁，次年日伪在开封成立河南省政府。1945年日本投降，国民党政府恢复开封原来建置。

1948年6月22日，中国人民解放军第一次攻克开封，因战略需要，旋即撤离。同年10月24日再次解放开封，11月成立开封特别市，省会地位不变。1954年10月，省会由开封迁往郑州，开封改为省直辖市。1955年郑州专区驻地迁至开封，改称开封专区，1958年开封市委托开封专区管辖，1962年开封市恢复为省直辖市。1983年实行“市带县”体制，撤销开封专区，原属专区的杞县、通许、尉氏、开封、兰考五县划归开封市管辖