劉備不料局勢瞬間敗壞，心中極爲擔憂，就問護衛中軍的徐州刺史張羨說：“如今尚能戰否？”
張羨也知道形勢緊急，對劉備說：“事急矣！我軍若是現在往南撤退，恐怕全軍都將不復陣列，我等也要葬身此地了！明公，我願率衆北拒，以重刑明律，賊軍也疲乏，今日擊退過去，就是黃昏，他們也要收兵，那我軍明日還能整軍再戰！”
劉備深以爲然，將麾下五千晉陽軍調三千給張羨，並將中興劍賜予張羨說：“我之生死，今日都仰仗將軍了！”
此時天色已然向晚，暮色朦朧，張羨自知此行定然是九死一生，就向劉備討了一碗酒，一飲而盡。諫議從事朱皓唱《大風歌》爲之壯行，張羨隨即領翻身上馬，高呼一聲“壯哉”，便領衆向北馳去。
北面的豫州軍剛好迎面撞上來，張羨便令部衆將隨身帶的木頭都插在地上，設置一道簡易的拒馬，並派令兵上前，齊聲對前來的潰兵們說：“不要退！退不能活命，往北還能反敗爲勝。”
那些潰兵們熙熙攘攘地擠在拒馬前，聲音高高低低地混在一起，對張羨道：“算了吧，關將軍都敗了，還能有什麼轉機，往南跑，我們這麼多人，他們哪裏殺得完？”
張羨聞言大怒，當場就令手下兵卒射殺前面的這些潰兵，自語道：“你們若想自尋死路，那就去投水吧。”如此一來，潰兵只能改向東西兩面潰逃，而張羨則收攏了少許殘兵，正要做再戰之勢。而尾隨而來的曹軍看到漢軍竟還能反擊，也都露出踟躕之色。
孰料這時候，在南面的漢軍大部發生了一件事，徹底改變了整個戰局。
建平將軍董承得知漢軍前線不利，左翼又遭到曹軍橫擊，知道漢軍已經到了極爲危險的局面。他心中卻大喜過望，心想：我如今率衆在最後處，劉備左右支拙，定然無力再製衡我，此時不走，更待何時？
於是他便對部下下令說：“賊軍勢強，我軍已敗，此時正當全軍返函谷，以圖來年再戰。”命令一下，董承部衆齊呼“我軍敗了”，隨即率衆脫離大隊，往西南奔去。
董承這一退，周遭的漢軍不明所以，只能見到傍晚時分，有一大部士卒倉皇撤走。他們俱皆驚惶，相互言語道：“莫非賊子在後路也有埋伏？”謠言越傳越廣，陳王劉寵與冀州刺史袁譚聞言，也隨即脫戰而走，繼而引起了整個後軍的不戰自潰。
而此時劉備見張羨擋住曹軍，心中稍稍安慰，又不禁擔憂關羽，心想他如今安危如何？一時間惆悵而不能飲水。他正要派朱皓去看看徐庶所部的戰況，結果軍師從事皇甫堅壽跌跌撞撞地跑了回來，一副驚慌失措的樣子，手腳顫動，他說：“明公！大事去了，後軍都潰散跑了，各部都亂了！”
“什麼！”劉備大驚失色，半晌才怒道：“自晉陽建府，收集東西兵卒，我皆以國士之禮相待，俸祿兵糧，從不敢稍有拖宕。如今竟然臨陣棄我而逃！”
說罷，劉備斫刀而起，欲親自去看。此時，法正、朱皓、孟達、還有荀攸、韋康都涌過來。法正說：“敗局已定，衆難複用，請明公趕快退回東都，令陳公張邈等人守河南，遲則一戰而喪天下！”
說罷，他當即擁劉備上馬，劉備尚還猶豫，據鞍不動，對衆人說：“可翼德、雲長、元直、鎮東等部該當如何？”
荀攸說道：“只能讓鎮東先行殿後，我等稍整軍勢，隨後跟上！”而法正則已然急了，伸手在嘴裏吹出尖銳刺耳的呼哨，抽鞭猛打乘馬，留影馬當即騰空疾馳而去。沿途漢軍步卒拋矟棄甲，舉火而逃，四周野外火光連綿不絕，壯觀無比。劉備與親隨飛馳而過，見此情形，不禁涕淚長嘆：“本欲舉火歸故鄉，不想竟狼狽西歸，我該如何去面見庭堅呢？”
劉備如此率中軍撤離，便是徹底讓張羨與徐庶所部陷入了絕境。
張羨見主帥已然撤離，不明所以，但仍然誓死抵抗，可部衆的戰意卻低沮至極，曹騎們越過馬拒，殺入徐州軍中時，可謂所向披靡，很快就將漢卒切割成數部，張羨也深陷重圍之中。
因張羨腰掛漆金的御賜中興劍，曹軍都知曉他是漢軍高官，於是有二十餘人來圍着他攢刺。馬很快被刺死，張羨也只能下馬步戰，又激戰數個匯合，一個曹兵戳中了張羨，沿着鐵甲與裙襬的間隙劃破了一條大口子，隨着長戟往外抽出，裏面的腸子都跟着流了出來。
而另一邊，徐庶仍在督戰，西面的敗勢他已止住，正面雖呈梯式節節後退，但曹仁到底兵少，即使率部數次衝鋒，也已精疲力竭，實在衝不動了。故而徐庶在兩面實行包夾和齊射，到底用兵力的優勢將曹仁打了回去。
但這於大局形勢無補。
劉備後撤的消息很快也傳到徐庶耳中，他聞罷，面色如常，只是派使者對來援的張飛說道：“今日之敗，是我謀劃不周的過錯，想要反敗爲勝，已是不可得了，當務之急，當是全軍而退，君侯帶的多是騎兵，乃是我軍中精銳，不可輕棄，我麾下多是步卒，欲逃也難得，所以君侯當先西歸，我自率部殿後。”
張飛得知消息後，回說一句“珍重”，也不再留戀戰場，率部自東南撤走。
徐庶便攜衆且戰且退，將隨軍帶來的箭矢全部射出去。曹仁不知緣故，還道眼前的漢軍要率衆搏命了，於是便停止衝擊，與漢軍保持兩箭程的距離，一面與曹操匯合，一面觀察徐庶的破綻。
此時天色已完全昏黑，曹軍在遠方屠戮着未來得及逃掉的漢卒，而漢軍諸將都聚集在一起，做最後的軍議。徐庶對身邊的拓跋匹孤、拓跋力微、黃忠、射堅諸人說：“此時夜色已至，月光未明，大概是最後逃亡的機會了。你們趁賊軍未及反應，挑選些精銳，都去追明公吧！”
衆人吃了一驚，都勸阻道：“徐君乃是霸府智囊，我等俱死，也不當令徐君有損，徐君當先行纔是！”
徐庶卻搖首說：“三軍因我在，纔不致潰退，我若先逃，你們能擋賊軍嗎？”衆人皆啞然。
隨後徐庶又勸慰說：“老師還在長安，只要有他在，府中哪裏會缺智囊？你們纔是軍中的棟樑，勿要多說了，快去吧，來日還多得是你們廝殺的時候，你們早走，我也能伺機逃脫，你們再猶豫，就都死在此處了！”
衆人皆知其苦心，不禁流淚拜謝，當晚就點出三千精兵，趁着昏暗的夜色悄聲離去了。
此時的徐庶所部多已受創，能戰的大約只有八千餘人。故而徐庶將這八千能戰之士聚集一處，其餘傷員都放他們歇息，叮囑說：“若賊軍來，可奉兵降之。”而後他親自巡視屬下，問他們道：“我今與諸位同死，可有遺恨？”漢軍皆高聲答說：“與徐從事同死，不恨！”徐庶聞言大笑。
曹軍等了兩個時辰，見徐庶所部一直駐在此地，既不後撤，也不投降，終於決定於夜中進行終戰。曹軍騎士們沒有妄發異動，而是舉着火包抄漢軍兩翼，將其盡數合圍後，纔派人問道：“你們是何人所領？何不歸降我軍？河內的司馬公、徐州的昌將軍，還有你們河南關老虎，都向我軍投誠了。若能棄暗投明，元帥未嘗不能放爾等一條性命！”
徐庶聞言，便從軍陣中站出來，對曹軍使者說：“都是戰場上跑馬廝殺的漢子，何必蠱惑人心？今日之敗，罪全在我，我甘願一死，但要辱我節操，我絕不罷休！”
投降的司馬防聽那聲音，對曹操說：“是霸府的智囊，徐長史啊！明公若得他相助，大業易興耳！”
曹操捂着受傷的肩膀，對司馬防哈哈笑道：“司馬公真是惜才之人啊！”他隨即又嘆息道，“可惜，徐元直的才能我自然也見過，但他是義士，終究不能爲我所用，便還是成全他罷。”
說罷，他傳令擊鼓，在月色之下，曹軍向漢軍射出暴雨般的箭矢，在將大部分人射倒在地後，騎士們再上前衝殺砍刺。一直等到第二天天明，曹軍在屍山中辨認漢軍的首級，一名曹兵發現徐庶被屍體壓倒在血泊中，手腳受了數箭，胸口還有些許若有若無的起伏。
但曹兵沒有救命的意思，他貪圖徐庶手中的雲龍玉抉，趁左右無人注意，先割掉了徐庶的頭顱，再奪下這玉抉揣進衣裳內，繼而向上級領功去了。