是他出了乾国境内之后并不顺利，柔然辖地内的各部族并不安逸，边境地区的柔然部落时常遭到大乾戍边骑兵的突袭和侵扰，这些柔然部落为了躲避乾军的不间歇突袭，不得不屡次向北迁徙。
受到乾国边军袭扰的柔然边境各部族对从南边来的人分外敌视，昙无耶就好几次被几个柔然部族的骑兵围起来用弓箭指着，如果不是他穿着一身僧衣，又是长着一副与汉人和鲜卑人截然不同的相貌，只怕早就被射成筛子了。
在前往柔然可汗庭的途中，漠北连续两次下起了大雪，第一次持续了三天，第二次持续了五天，这雪一旦落下来就因为气温寒冷而不容易融化，贯穿整个隆冬季节。
昙无耶几乎冻死在漠北这冰天雪地之中，途中不断有野兽想要吃他，被他反杀，他于是剥下它们的皮毛裹在身上、背上它们的肉继续赶路。
他又冷又饿，不得不在沿途经过的部落里偷盗牧民的食物，因此而被牧民们追杀。
十一月下旬，昙无耶历经千辛万苦抵达了柔然可汗庭。
可刚刚抵达可汗庭的昙无耶发现这里的局势似乎很紧张，柔然人因为他僧人的身份没有为难他，以为他是起来传法的，于是还给他提供了一个穹庐供他居住。