第二天，东海王便传檄天下，鼓动中原方镇都上疏长安，要求天子回京师，向河间王施加政治压力，字里行间却只字不提讨伐河间王。
东海王又请名士缪胤、缪播去说服河间王。其二人均非一流名士，但缪胤既是东海王前妃弟，又是河间王表弟，两面吃得开。而缪胤族弟缪播是东海王心腹，缪播的父亲是东海王父亲的僚佐，所以东海王极看重缪播。
送走缪胤、缪播，东海王即命刘琨前去攻取虎牢关，勿被谈判干扰。
虎牢关，又称汜水关，在洛阳以东，离洛阳只有一百多里，今河南省郑州地区西北部的汜水镇境内。它作为洛阳东边门户和重要的关隘，因西周穆王在此牢虎而得名。南连嵩岳，北濒黄河，山岭交错，自成天险。史书记载：虎牢关壁立千仞，南连嵩岳，北临黄河，唯有西南一深壑幽谷通往洛阳，有“一夫当关，万夫莫开”之势，是东都洛阳的门户。从东面和北面赶来，必须过虎牢关。由于地扼要冲，历史上许多军事活动均发生于此。
虎牢关前，三英战吕布。让虎牢关名垂天下。可其实这一场战争却是虚构的。袁绍盟军还在虎牢百里之外，黄河北岸吃‘酸枣’。而孙坚和袁术是从洛阳正南杀过去的，不用走虎牢关。在太谷关大战董卓军。
真正使虎牢关成名的是刘邦、项羽的成皋之战和李世民的虎牢关之战。尤其是唐初虎牢关之战，一举消灭王世充、窦建德两大军阀。在历史上非常闻名。
虎牢关之战被唐人改的精彩异常。越细看越模糊。李世民单骑拖后，连续射倒三将，吓退一千追兵。终成‘天策上将’。人家这一千骑兵不能和他对射吗？
其实是李世民采纳郭孝恪 的建议：“窦建德远来，粮运不便，这是天要亡他。大王应固守虎牢，屯军汜水，到时随机应变，歼灭他们就很容易了。”
唐军率先兵进虎牢关。依托虎牢关。先防守一个多月，使窦建德军疲惫不堪。最终以少胜多。郭孝恪只靠这一个‘固守虎牢’的建议，事后被封‘上柱国’。
在中国历史上长城内的军事关隘，数潼关和虎牢关最为闻名。
接到东海王军令。刘琨率原部八千步骑兵火速杀到虎牢关前，但见虎牢关两面连山，封住路口，雄关漫漫。刘琨就与众将领商议，如何夺得虎牢关。
温峤建议急攻虎牢，而黄肃却建议暂缓进攻。黄肃出身军旅，对战争有一定经验，他对刘琨说：“以往我晋军攻城，多备攻城器械，像云梯、冲车。投石车一类，种类繁多，还有强弩直射城中。现如今群雄并起，都是匆匆组军，各种攻城器械不足。如若强攻，就算勉强攻下，也会损失惨重，于己不利。”
刘琨素来敬重黄肃，听到此话犹豫不定。温峤毕竟熟读军书，听到黄肃所言，也觉强攻不妥。就对刘琨说：“我们不如先试着攻一下，如果敌人顽强防守，我们就再后退建造云梯等工具。如果他们摆空城计，咱就赚到了。”
于是，刘琨命温峤率一千勇士攻城，而自率一千骑兵在后督阵。负责向城上放箭，掩护攻城。而黄肃带剩下的数千步兵在后督阵，以防不测。
黄肃阵中鼓声通天，温峤率一千人强行攻城。刘琨令一千骑兵策马于城下，向城墙上放箭。温峤阵中只有数把长梯。长梯搭在城墙之上，勇士举着盾牌向上攀爬，而城上一部分人与刘琨骑兵对射，一部分人投下滚木垒石。一时之间城上城下烟火弥漫，骑兵快速奔驰，一旦发出剑雨便飞马向后奔，以防被敌射中。
城上军士众多，应付还比较自如。半个时辰之后，温峤军士仍然未能攻上城楼，还损失惨重。刘琨眼见得雄关无法攻下，为防止温峤受伤，就有心下达撤退命令。谁知这时，城上吕朗 发现，刘琨跃马在城下助攻。于是心生一计，命几十名军士同声狂喊：刘琨被射死了！然后对副将说：“去城下典齐四千兵士，听我号令，如若敌人撤走，命你火速追击。”
战事正在焦灼之时，但听城上高呼：“刘琨被射死了!”
城下攻城将士早已死伤二三百人，无心恋战，一听己方主帅被射死，就开始有人往后跑，不远处高坡上黄肃的主力军阵也开始乱作一团。
刘琨心想：坏了，这是敌人在乱我军心，如这时一退，敌人必然出击。情急之下，刘琨再也不顾得个人安危，跃马从骑兵阵型中奔出，向攻城将士那边飞奔，边奔便向城上喊话的敌军射箭。来回三次，城下攻城的部队和远处黄肃步兵看到主帅亲冒矢石，在城下来回狂奔，知道刘琨并未战死，都欢呼雀跃。刘琨听到欢呼，知道军心已安，于是把马后撤，须臾间来到黄肃面前，对黄肃说：“鸣金命温峤收兵。”
黄肃阵中鸣金收兵，攻城的温峤和城下的骑兵都退回到主力方镇之中，而主力方镇并未后退。
楼上守将吕朗 见攻城之敌退却，但都回到主力阵营之中，而主力阵营却旌旗招展，一片肃然，便知敌人训练有素，打消了出城决战的念头。
等了一会，见城中敌军并不出战，黄肃就对刘琨说道：“末将愿领一千人再攻他一次，若向城中放‘火箭’，或能成功。”
古代城小，城中房屋木料太多，最怕火攻。刘琨心中明白，但是不想伤及平民，还是下令骑兵拖后，全军徐徐后退。
经此一役，刘琨不敢再贸然攻城，而是兵退二十里，在一条河后扎下营寨 ，派人砍伐树木，赶造攻城器械。
而这时东海王四弟南阳王司马模守邺城，被成都王颖的余孽——汲桑、石勒等骚扰得不亦乐乎。东海王被迫请堂弟范阳王与司马模换镇，司马模去许昌，而由能力更强的范阳王带刘舆守邺城。