。不料梅成趁机会带其军众往投陈兰，二人转入灊山自守。灊山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说“这正是所谓‘一与一，勇者得前耳’”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说“登上天山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军的功劳。”于是增其邑，假节。
当曹操征孙权无功而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。
建安十八年，与臧霸同为征濡须口的前锋，攻破孙权江西营，擒获孙权都督公孙阳。
建安十九年，孙权大将吕蒙奇袭攻下庐江的皖城，张辽在增援途中得知皖城失守，无奈被迫退军。
建安二十年，曹操往征张鲁，让护军薛悌给张辽送去一封信函，让张辽在有敌人来攻时再打开来看。不久东吴孙权率领十万大军进围合肥，张辽与诸将打开信，信中说“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”但是诸将不理解其中的意思，张辽与李典消除诸将的疑惑，整军备战。
于是张辽在夜