衡水历史悠久。上古时代因地跨黄河。今辖区分属冀、兖二州。饶、昌、武城、武罗均系境内主要封邑方国。 春秋时期多归晋 国。战国时代为燕、赵之地。公元前221年秦始皇统一中国后属钜鹿郡。汉代属冀州刺史部，先后设有广川国、信都国和安平国，今辖县市区多为此时建置。三国时系魏国冀州域，冀州治自邺始移信都，境内分属安平、博陵、渤海三郡。晋代仍为冀州所辖。隋时，南部属冀州，北部属公元596年所置深州。唐代属河北道。宋初冀州属河北东路，深州属河北西路。元初，观州治所移至县城（今景县城），并于公元1265年复称景州。此后直至明、清，先后为中书省、京师、直隶省所辖，境内仍由冀、深、景三州分领。中华民国初期，各州皆改为县，直隶于省。至1914年，今辖区分属大名道、保定道、津海道管理。1928年，直隶省改称河北省，同时废道，各县直隶于省。1937年抗日战争爆发后，今辖区分属中国共产党领导的晋察冀边区之冀中区和晋冀鲁豫边区之冀南区。1948年5月，两边区合并改称 华北行政区。1949年8月1日始设衡水专区，辖原冀南、冀中两区之部分县域，包括衡水、冀县、枣强、武邑、深县、武强、清河、恩县、夏津、武城、故城、景县、阜城等13县，属新建立的河北省。1952年11月7日衡水专区奉华北行政委员会之命撤销，其辖区之夏津、恩县、 武城3县划归山东省，衡水、深县、武强、武邑、枣强、冀县6县划归石家庄专区，景县、故城、阜城3县划归沧县专区，清河县划归邢台专区。1962年6月27日，国务院批准衡水专区复置，下辖衡水、冀县、枣强、武邑、深县、武强、饶阳、安平、故城、景县、阜城计11县。1970年，衡水专区改称衡水地区。1982年1月，衡水镇升为衡水市。1993年9月，冀县改建为冀州市。1994年7月，深县改建为深州市。1996年5月31日，国务院批准撤销衡水地区，改设地级衡水市，同时撤销原县级衡水市，改设桃城区。至2000年末，衡水市下辖1区、8县和2个县级市。

衡水”一词始见于北魏文成帝拓跋浚的《南巡碑》。碑文提到，文成帝曾在信都(今冀州市)的“衡水之滨”举行过规模盛 大的“禊礼”。“禊礼”指古代于每年的春秋两季在水边举行的涤除污垢、禳灾祈福的祭祀活动。“衡水之滨”中的“衡水”是何意？据十几年来一直致力于衡水历 史研究、曾担任过衡水市委党史办主任的刘宏勋考证，这里的“衡水”是河流的名字，也就是当时穿越今冀州市境内的漳水后一段的别称，又名“横漳”或“衡 漳”。

到了隋朝开皇十六年，由河北大使郎蔚之，分下博(包括桃园、北马庄等原桃县治所周围的土地和村庄在内，分归衡水县。 到了1946年3月，深、衡重勘县界时，两县协商将上述17个村划归深县，另有深县若干村划归衡水)、信都和武邑三县地，新置衡水县，治所在今衡水市旧城 村。县之名称，取“漳水横流”之意，只因漳水从衡水县西南入境后，不是东流入海，而是折向北流，然后入海。所以，古人亦把这一段漳河水称为“衡水”，后因 漳、滏合流，这段河水即今日的滏阳河。

此后，衡水县名称历代沿用。新中国成立后，1949年冬设置衡水专区，1952年11月撤销。1962年6月国家为 集中扶贫，将原属石家庄、沧州专区的11个贫困县划归在一起，复设衡水专区，1970年改称衡水地区。1982年5月，衡水县所属的衡水镇改建为衡水市， 此时衡水市、县并存，至1983年9月撤销衡水县并入衡水市。1996年7月，衡水地区撤地设市，原衡水市改设为桃城区。