。此后随曹操四处征讨，战功累累。曾亲自劝降昌豨，攻袁氏而转战河北，率先锋在白狼山斩杀乌桓单于蹋顿，智平荆州新军的叛乱，击灭陈兰、梅成。
濡须之战后，张辽与李典、乐进等镇守合肥，并多次击退孙吴的进攻。最经典战役是在建安二十年（公元二百一十五年）的合肥之战，张辽率八百将士冲击孙权的十万大军，打到了孙权的主帅旗下，令孙权闻风丧胆，吴军望风披靡，遂大溃败。后来，以七千之众大破十万大军，差点活捉孙权。经此一役，张辽威震江东，声名大噪，“张辽止啼”也成为民间流传的传奇典故。张辽为历代推崇，成为古今六十四名将之一。
张辽本是聂壹的后人，其家族为了避怨而改张姓。张辽少年时便已举郡吏，并州刺史丁原以张辽武力过人，召其为从事，命他带兵往赴京都。何进又遣张辽往河北募兵，共得千余人。可是当张辽募兵尚未还时，京中的何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有。董卓死时，张辽统兵归属于吕布，迁任骑都尉。
不久，吕布为李傕、郭汜等击败，张辽跟从吕布往东奔至兖州，为曹操所败后前往徐州。
建安三年（公元一百九十八年），吕布遣张辽与高顺等攻破刘备，但其后曹操破吕