王恢自思自己的军队敌不过匈奴大军只好退还，韩安国等率领大军分驻马邑境内埋伏，但好几天不见动静，遂改变原先的作战方案，率军出击，结果一无所获。
而“马邑之围”失败的后果影响深远，汉武帝以王恢提出战争却临阵脱逃，将王恢下狱，廷尉判处王恢畏敌观望死刑。
王恢虽买通田蚡通过汉武帝的母亲王太后求情，但仍无法平息汉武帝的愤怒，王恢被迫自杀谢罪。
“马邑之围”之后，匈奴拒绝与西汉朝和亲，在边境拦路劫掠，或者出兵四处袭击汉朝边郡，以报复马邑之围，数量多的数不过来。
“马邑之围”虽未成功，但却使汉朝结束了自西汉初年以来奉行的屈辱的“和亲”政策，同时也拉开了汉匈大规模战争的序幕。
公元188年三月，并州刺史张懿在抵御胡人的进攻时战败被杀，继任为并州刺史的丁原因为张辽武力过人，召其为从事，命他带兵赶赴京城，去接受大将军何进的领导。
大将军何进又派遣张辽前往河北募兵，张辽在河北共募得千余人，然后，返还京城向何进复命，但此时的何进已被宦官所杀。
愤怒的将士们攻杀宦官，幸存的宦官劫持汉少帝，最终董卓立下了救驾的大功，回京后便掌握朝中大权。
由于何进已死，张辽作为大将军何进的直属部下之一，便统兵从属于董卓，后来董卓败亡，张辽统兵从属于吕布，迁任骑都尉。
张辽虽然“以兵属吕布”，但他以北地太守或鲁相名义，在吕布军中仍保持相对的独立地位。
不久，李傕、郭汜、樊稠等人攻打长安，击败吕布，北地太守张辽跟从吕布向东奔逃，漂泊辗转于关中、荆州、豫州、司州、并州、冀州、兖州，在兖州鏖战曹操之后，又前往徐州。
真正让张辽扬名的主要是两件大事，一是随曹操大破乌桓，二是逍遥津“八百破十万”。
公元207年，曹操要征讨在柳城的袁尚、袁熙与乌桓，张辽随大军出征，八月曹操带领先锋部队登上白狼山，突然与敌兵遭遇。
敌人的数量很多，当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。
曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧，在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。
张辽劝战时的语言、神态皆是壮气奋发，曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是采纳了张辽的建议。
曹操亲自将自己所持的麾，授予给张辽暂用，下令由张辽指挥先锋部队出战。
张辽率军突击，大破乌桓军队，并临阵斩杀了以“骁武”着称的乌桓单于蹋顿。
此役虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十余万。
公元213年，张辽与臧霸同为征濡须口的前锋，后攻破孙权江西营，擒获孙权都督公孙阳。
公元214年五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。
于是，张辽在硖石的南面迅速筑起了一座堡垒，作为合肥的前哨，同年七月曹操征伐孙权，同年十月曹操无功而返，自合肥还。
曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。
张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。
公元215年，曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。
不久，东吴首领孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战，乐将军守护军，不得与战。”
曹操只在信中明确了3位将领的分工，但是，完全没有提及何时出城、何时撤退、出城人数、攻向哪里、如何接应等具体措施，况且，将在外君命有所不受。
因此合肥诸将们都充满疑虑，张辽根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，消除了诸将的疑惑，李典也对张辽所说的话表示赞同。
于是张辽在当夜募集敢于出城迎战的精锐将士八百人，开剥牛支让将士饱食，准备明日大战。
天色刚亮，张辽被甲持戟，亲自先登上直直陷敌阵，撕裂了东吴军队的防线。
在他率军冲入东吴的中军营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴将领。
他一边大声呼喊着自己的名号，一边拼杀，冲入东吴的中军营垒，此后，张辽率军继续猛攻，一直冲杀到孙权的主帅旗之下。
孙权见状大惊，孙权身边的众将士也因惊慌失措而不知道该如何应付，于是孙权等人逃跑到一座较高的山冢上，用长戟来自卫。
张辽见敌方主帅退避，便叱喝孙权，挑衅他下来对战，但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢东吴军队将张辽的部队重重包围。
张辽在吴军阵中左冲右突，终于打开包围圈，率领部下们突围，虽然孙权带领十万大军，以及吕蒙、甘宁、陈武、徐盛、宋谦、潘璋、贺齐、凌统、蒋钦等众多的东吴名将一起进攻合肥。
但是张辽率领800人冲阵东吴十万大军，使得孙权以“走登高冢”的方式逃命，张辽突出重围之后，为了救援那些身陷重围的将士们而再次冲进入东吴十万大军。
猛将众多的东吴军队都无法挡住张辽，最终被张辽击破而败走，从此，张辽威震江东，每当江东地区的小孩们啼哭不止，小孩们的父母就会说“张辽来了”来吓唬小孩。