初平二年（191年），黑山贼于毒、白绕、眭固等率十多万人攻打魏郡、东郡，东郡太守王肱不能抵御。
曹操引军入东郡，在濮阳击破白绕。
因此，袁绍表曹操为东郡太守，治所在东武阳。
初平三年（192年），曹操驻军顿丘，于毒等人攻打东武阳。
诸将建议曹操回军救援，曹操欲图趁机袭击敌军本屯，对诸将说：“孙膑救赵而攻魏，耿弇欲攻西安而攻临淄。让敌军知道我军西进而回撤，则东武阳之急自解。如果他们不回，我就能攻破他们的本屯，他们却必不能拿下东武阳。”
于是，曹操引兵西入山，攻打于毒等人的本屯。
于毒得知后，放弃攻打东武阳而回军。
曹操邀击眭固，又在内黄与匈奴於夫罗交战，皆大获全胜。
初平三年（192年），青州黄巾军大获发展，连破兖州郡县，阵斩兖州刺史刘岱。
济北国相鲍信与州吏万潜等人来到东郡迎曹操领兖州牧。
曹操和鲍信合军进攻黄巾，战于寿张之东，鲍信战死。
曹操“设奇伏，昼夜会战”，终于将黄巾击败。
当年冬天，他获得降卒三十余万，人口百余万。
曹操收其精锐，组成军队，号称青州兵。
这样，曹操又有了一支颇具战斗力的军队。
同时，袁术与袁绍交战，向公孙瓒求援。
公孙瓒让刘备屯高唐，单经屯平原，陶谦也屯兵发干，以此进逼袁绍。
曹操帮助袁绍击破陶谦诸军。
初平四年（193年）春天，袁术因粮道被刘表切断，引军进入陈留，屯兵封丘，黑山军及南匈奴於夫罗部都帮助袁术。
袁术令部将刘详屯匡亭，曹操率兵攻打刘详，袁术带兵救援，双方激战，曹操大获全胜。
袁术兵败，退守封丘，曹操率军包围，围势未成，袁术又逃往襄邑。
曹操追到太寿，决开渠水灌城。
袁术逃往宁陵，曹操再次追击，袁术只得逃往九江。
夏季，曹操回到定陶。
当时，陶谦与阙宣共同举兵，攻取泰山的华、费二县，接着率军攻入兖州南部的任城。
秋季，曹操率军征讨陶谦，进兵徐州，向东南扩展势力，攻克徐州十余城。
曹操与陶谦大战于彭城，陶谦军败退，死亡的人数将近一万，泗水为之不流。
陶谦退守郯县，不敢出战。
不久，曹操军粮将尽，撤围回军。
兴平元年（194年）春天，曹操回到兖州。
当初，曹操的父亲曹嵩和弟弟曹德在前来曹操处途中，被陶谦派兵杀害，因此曹操志在东征。
夏季，曹操再征徐州，攻破五城，略地至东海，回军在郯县击破刘备、曹豹，又攻破襄贲，所过之处多所残戮。
东郡守备陈宫对曹操不满，于是与陈留太守张邈、张邈之弟张超、从事中郎许汜及王楷等同谋叛乱，迎吕布为兖州牧。
当时，只有鄄城和东郡的范县、东阿两县尚在曹操掌握之中，分别由司马荀彧和寿张县令程昱、东郡太守夏侯惇等坚守，形势异常危急。
曹操从徐州赶回，听说吕布屯于濮阳，遂进军围攻濮阳。
二军相持百余日，蝗灾大起，双方停战，曹操军还鄄城。
此时，曹操失去了兖州，军粮已尽。
袁绍派人来劝说，想让曹操投靠他，让曹操举家迁到邺县当人质。
曹操本打算答应，但被程昱劝阻。
十月，曹操到达东阿。
兴平二年（195年）春，曹操袭击定陶，济阴太守吴资保守南城，曹操攻之不下。
吕布率军前来，曹操将他击败。
夏季，曹操攻击巨野，吕布率军救援巨野。
曹操击破吕布军，斩杀屯驻巨野的薛兰等人，吕布会合陈宫率领一万多人从东缗赶来。
此时，曹操士兵大多数都外出收麦了，留下的不足一千，营垒也不坚固。
曹操命妇人守于城上，士兵拒守吕布。
营垒西边有一条大堤，南边是幽深的树林，吕布怀疑曹操有埋伏，对部下说：“曹操诡计多端，切勿进了他的埋伏。”
于是，率兵驻扎在曹操营垒南边十多里的地方。
次日，吕布再次前来，曹操令一半士兵藏于堤坝之内，一半在外诱敌。
吕布进军，曹操派轻兵挑战。
双方交战后，曹操的伏兵出动，步骑并进。
吕布大败，鼓车被曹操缴获，曹操一直追到吕布军营才返回。
吕布连夜逃走，曹操追击，又攻克定陶，分兵平定诸县。
吕布前往徐州投奔刘备，张邈与吕布同行，留张超驻守雍丘。
七月，因关中李傕、郭汜的火拼，汉献帝从长安东归。
八月，曹操围攻张超于雍丘。
十月，献帝正式拜曹操为兖州牧。
十二月，曹操攻破雍丘，张超自杀。
曹操夷灭张邈三族，而张邈在求救袁术的途中被部下所杀。
自此，兖州平定，曹操又率军东攻陈国之地。
建安元年（196年）二月，曹操讨平汝南、颍川一带的黄巾军何仪、刘辟等部，献帝封曹操为建德将军。
六月，经曹操谋士董昭的劝说，献帝身边的将军杨奉等人表请拜曹操为镇东将军，袭父费亭侯之爵位。
早在初平三年（192年），曹操的谋士毛玠就提出了“奉天子以令不臣，修耕植，畜军资”的战略性建议，曹操深以为是。
此时，曹操想迎接献帝，其谋臣大多认为山东尚未平定。
而献帝身边的韩暹、杨奉等又骄横难制，所以不赞成迎接，只有荀彧、程昱极力劝迎。
最后，曹操决定派曹洪率兵迎接献帝，但被卫将军董承与袁术的部将苌奴据险阻止。
建安元年（196年）七月，献帝回到洛阳，董承为牵制韩暹等跋扈的将领，又密召曹操来洛阳。
八月，曹操来到洛阳，奏明韩暹、张杨之罪。