他在和翰林学士们密议时，也提出相同的想法，但遭到姜公辅和陆贽等的激烈反驳。
就在卢杞心中涌起对高岳的怨愤时，高岳却又补充说：“不如这样，卢司马可随在我和太尉的营中，这样就安全了，只要凤翔府和泾原行营安定下来，就送卢司马至凤州就任，不出一两载，陛下回驾京师，可再召卢司马返归继续辅弼，不知可否。”
想了会儿后，李适点点头，对卢杞说：“也只能如此。”
卢杞便又垂泣，对皇帝说：“杞离奉天城后，萧复、颜真卿等人必轮番在陛下面前谗毁我，还请陛下千万要持重，不要忘却臣对陛下一腔丹心。”
“朕必不负卿。”皇帝满口答应。
建中三年初秋的奉天城下，山峦间的诸亭障狼烟蜂起，鼓角清寒，高岳牵拉着缰绳，紧紧伴在段秀实的身旁，其后仅七八骑，且都是百里城的游奕，卢杞垂头丧气地骑着马跟在最后。
至梁山关隘前的处山岗上，高岳登高，随即用马鞭指点各个方向，对游奕们分别说到——你先至百里城，让刘主簿追集所有田士，并自甲仗楼领取武器；你则至灵台旧县，追集所有小三州城傍子弟，并发令给侯兰、程俊仁将军，让他们监控住营田的范阳兵，特别要于小路要道派