在张飞率部回撤后不久，张杨部随即为曹操中军所击溃。而后方司马防的河内军正在轮换，尚未来得及填补战线，结果上党军被冲散之后，阵线顿时大坏，在中部形成了浩大的溃军，汉军队伍全然不复行列，连同皇甫郦部、司马防部也裹挟一起，一并向南溃退。
刘备不料局势瞬间败坏，心中极为担忧，就问护卫中军的徐州刺史张羡说：“如今尚能战否？”
张羡也知道形势紧急，对刘备说：“事急矣！我军若是现在往南撤退，恐怕全军都将不复阵列，我等也要葬身此地了！明公，我愿率众北拒，以重刑明律，贼军也疲乏，今日击退过去，就是黄昏，他们也要收兵，那我军明日还能整军再战！”
刘备深以为然，将麾下五千晋阳军调三千给张羡，并将中兴剑赐予张羡说：“我之生死，今日都仰仗将军了！”
此时天色已然向晚，暮色朦胧，张羡自知此行定然是九死一生，就向刘备讨了一碗酒，一饮而尽。谏议从事朱皓唱《大风歌》为之壮行，张羡随即领翻身上马，高呼一声“壮哉”，便领众向北驰去。
北面的豫州军刚好迎面撞上来，张羡便令部众将随身带的木头都插在地上，设置一道简易的拒马，并派令兵上前，齐声对前来的溃兵们说：“不要退！退不能活命，往北还能反败为胜。”
那些溃兵们熙熙攘攘地挤在拒马前，声音高高低低地混在一起，对张羡道：“算了吧，关将军都败了，还能有什么转机，往南跑，我们这么多人，他们哪里杀得完？”
张羡闻言大怒，当场就令手下兵卒射杀前面的这些溃兵，自语道：“你们若想自寻死路，那就去投水吧。”如此一来，溃兵只能改向东西两面溃逃，而张羡则收拢了少许残兵，正要做再战之势。而尾随而来的曹军看到汉军竟还能反击，也都露出踟蹰之色。
孰料这时候，在南面的汉军大部发生了一件事，彻底改变了整个战局。
建平将军董承得知汉军前线不利，左翼又遭到曹军横击，知道汉军已经到了极为危险的局面。他心中却大喜过望，心想：我如今率众在最后处，刘备左右支拙，定然无力再制衡我，此时不走，更待何时？
于是他便对部下下令说：“贼军势强，我军已败，此时正当全军返函谷，以图来年再战。”命令一下，董承部众齐呼“我军败了”，随即率众脱离大队，往西南奔去。
董承这一退，周遭的汉军不明所以，只能见到傍晚时分，有一大部士卒仓皇撤走。他们俱皆惊惶，相互言语道：“莫非贼子在后路也有埋伏？”谣言越传越广，陈王刘宠与冀州刺史袁谭闻言，也随即脱战而走，继而引起了整个后军的不战自溃。
而此时刘备见张羡挡住曹军，心中稍稍安慰，又不禁担忧关羽，心想他如今安危如何？一时间惆怅而不能饮水。他正要派朱皓去看看徐庶所部的战况，结果军师从事皇甫坚寿跌跌撞撞地跑了回来，一副惊慌失措的样子，手脚颤动，他说：“明公！大事去了，后军都溃散跑了，各部都乱了！”
“什么！”刘备大惊失色，半晌才怒道：“自晋阳建府，收集东西兵卒，我皆以国士之礼相待，俸禄兵粮，从不敢稍有拖宕。如今竟然临阵弃我而逃！”
说罢，刘备斫刀而起，欲亲自去看。此时，法正、朱皓、孟达、还有荀攸、陈群都涌过来。法正说：“败局已定，众难复用，请明公赶快退回东都，令陈公张邈等人守河南，迟则一战而丧天下！”
说罢，他当即拥刘备上马，刘备尚还犹豫，据鞍不动，对众人说：“可翼德、云长、元直、镇东等部该当如何？”
荀攸说道：“只能让镇东先行殿后，我等稍整军势，随后跟上！”而法正则已然急了，伸手在嘴里吹出尖锐刺耳的呼哨，抽鞭猛打乘马，留影马当即腾空疾驰而去。沿途汉军步卒抛矟弃甲，举火而逃，四周野外火光连绵不绝，壮观无比。刘备与亲随飞驰而过，见此情形，不禁涕泪长叹：“本欲举火归故乡，不想竟狼狈西归，我该如何去面见庭坚呢？”
刘备如此率中军撤离，便是彻底让张羡与徐庶所部陷入了绝境。
张羡见主帅已然撤离，不明所以，但仍然誓死抵抗，可部众的战意却低沮至极，曹骑们越过马拒，杀入徐州军中时，可谓所向披靡，很快就将汉卒切割成数部，张羡也深陷重围之中。
因张羡腰挂漆金的御赐中兴剑，曹军都知晓他是汉军高官，于是有二十余人来围着他攒刺。马很快被刺死，张羡也只能下马步战，又激战数个汇合，一个曹兵戳中了张羡，沿着铁甲与裙摆的间隙划破了一条大口子，随着长戟往外抽出，里面的肠子都跟着流了出来。
一些晋阳兵见主将受伤，便试图过来为张羡解围，但终究不能突围过来。张羡自知必死，也懒得去揽肠子，而是从腰间抽出御剑，挥手将流出的肠子截断，继续与曹兵死斗，曹军见此形状，也不由得恐惧后退，只是围着张羡，却不再上前。张羡对此笑了两声，便拄着箭坐在