召了刘晔为司空仓曹掾。
不过刘晔毕竟是汉室宗亲，所以曹操基本上在带兵的时候不会带上刘晔，而是让刘晔在曹魏都城负责与汉献帝的相关事务，然后到了建安二十年的时候（也就是公元215年），曹操便带兵征伐据守汉中的张鲁，因为当时曹操手下的谋士都各自坐镇一方，便任用了刘晔为主簿随军。
当时的张鲁派出了自己的弟弟张卫领兵坚守山寨，于是在曹操攻打阳平山上的各个屯寨的时候，便因为山势险峻难登，一时之间难以攻克；而且曹操手下的士兵死伤甚多，又因为蜀地的地势险峻，导致粮食又十分缺乏，于是曹操便打算撤军，命令夏侯惇和许褚去传令驻扎在山上的军队撤退。
就在此时，因为有一些军队在夜里迷路，误打误撞的闯进了张卫的别营，营中的士兵大惊四散，当时在军队后方的刘晔见此情形，便认为可以趁机取胜，于是便劝说夏侯惇等人不要退军，而作为主将的夏侯惇见此情形之后，也是相信了刘晔的判断，于是立马派人回去告诉了曹操，曹操于是便率领大军直接进攻张卫，而惊慌失措的张卫只能不敌退走，张鲁也在不久之后选择了投降，曹操之所以能够取得汉中，可谓是得来全不费工夫。
这时刘晔又开始劝说曹操趁势追