西域真正被汉室严密控制是到汉元帝时期了，还是因为陈汤干出了“搴歙侯之旗”和“斩郅支之首”的事业之后，彻底又狠狠地震慑了西域各国一把，西域都护府也才算是脱离空有其名，成为一个真正能管理西域的职权机构。
到王莽篡汉时期，汉人一度失去对西域的控制权。那个时候汉人内部又爆发乱战，自己打来打去谁还会去管远在万里之外的西域。当时的西域人察觉到汉人内乱，一再联合攻击西域都护府的驻军，后面北匈奴也闪亮登场。
西域都护府长期得不到增援，孤立无援之下的西域都护府驻军越打越少，可西域都护府还是坚持了十年，后面仅剩下数十人逃回西凉，之后他们是有什么样的命运并没有被记载。
西汉崩溃，历经十七年的内战，刘秀代表老刘家重新获取统治权，一开始并没有什么余地再去管什么西域。
东汉初年（公元八年之后），光武帝刘秀忙于国内战事，无暇顾及西域，西域局势混乱。当时的西域，北道各国大都附属于匈奴，南道诸国则相互攻伐，争战不休。北匈奴乘机征服了西域北道诸国和南道大国于阗，利用西域的人力物力不断袭扰东汉边境。为彻底击退北匈奴的进攻，外通商道，内安边境，东汉王朝采取“以夷制