鲁闻太祖平凉，乃以汉中降，太祖纳之，旧以其为汉中守，兼以凉州匪患，令云驻此，督汉中、武都二郡。
建安四年太祖爵燕公，建铜雀台于邺，加云副都督衔，复屯汉中。建安七年，太祖方平中原，即发兵三路伐蜀。云直引步骑两万自中路出阳平，直扑白水，蜀军望云旌旗而散，遂得白水关。蜀将张任居葭萌关拒险以守，云按兵不动，秘制霹雳车，十日而成，发石弹击关墙，葭萌数日而下。云月内连破蜀道名关，其部无一伤亡，蜀中震动，乃撤入剑阁，焚栈道以自保。后蜀中巨变，剑阁空虚，张任出关搦战，为云所斩，蜀道乃通。时天下将定。诸将从太祖，如关羽等多纳姬妾，唯云不娶，太祖问之，云曰：“天下未定，枕席未安，云安敢以私废主公之大事？”太祖赞曰：“子龙真丈夫也！”
开元元年太祖受禅登极，云受封五千户领凉州牧。开元十一年移臧州牧，屯兰城。云善抚羌戎，诸胡皆服。开元十九年春，云母丧，乃归洛治丧，及秋，闻韩礼与诸羌叛，围车师郡，礼韩遂之子也。太祖召云，赐节，使还臧州。云率亲卫数十，一人三马，星夜归臧。比到，自率骑五百立诸羌阵前，羌哨急报中军，羌酋怪问：“是谓谁?”报曰：赵公至矣。酋惊曰：“赵公存乎”。急出迎。云问其