布于下邳，张辽率领吕布军余众归降曹氏，被拜为中郎将，赐爵关内侯。
建安五年（公元二百年），袁绍派颜良袭击白马，曹操命张辽与关羽同为解白马之围的前锋，击破袁军。数有战功，累迁裨将军。等到曹操击败袁绍的主力部队后，另派张辽平定鲁国诸县。
建安六年，张辽与夏侯渊同围昌豨于东海，历经数月，粮秣将尽，众人商议先引军而还，但张辽却向夏侯渊说“这些天以来，每次我们巡视围城军情时，昌豨就两眼盯着我看。而且他的士兵所发射的箭日益稀少，此必是昌豨心怀犹豫，所以才没有力战。我希望能试一下他，并与之洽谈，倘若可以成功诱使昌豨下山，不是很好吗？”于是命人向昌豨说“曹公有命令，让张辽来对你传达。”昌豨果然下山与张辽对话。张辽便说“曹公神智武勇，正在用他的仁德感化四方各派的势力，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。
曹操先遣昌豨还东海，随后训责张辽说“只身赴敌巢穴，这不是大将所为。”张辽却拜答道“凭着明公达于四海的威信，我拿着圣旨，昌豨必然不敢害我，所以我才敢去