张璁可没有归还这些逃奴的意思 ，因而也就派人直接拒绝了打哈的无理要求，理由则是：“兀良哈本就臣属于大明，兀良哈的人口也是大明的子民，而不是谁的奴隶，大明没有奴隶，而且，大明还取缔了路引制度，子民有在国内迁徙的自由，所以这些逃奴并不犯法，也无归还一说。”
当然，张璁让自己人也给了打哈一个答复，便是打哈如果能让逃奴自己回去，他这个河套巡抚也不会强留，但打哈得为这些已在乌海城就业的逃奴支付违约金，毕竟雇佣了这些逃奴的大明商团与官商得得到补偿。
打哈自然做不到让逃奴自愿回去，也更加不会为自己的奴隶去给大明的商团们支付违约金，但他又有些不甘心地就这么离开，他决定堵在乌海城的官道上，阻止行商与行人进入乌海城，甚至抢掠这些行商，以逼迫大明做出妥协和让步。
张璁自然不会让打哈这些蒙古贵族断绝自己乌海城的联系，毕竟乌海城的商贸一断，就很难生存。
迁居在乌海城的胡人逃奴已经被大明乌海知府王玺动员了起来，一下子聚集了近四万人。
蒙古人从小骑马，这些胡人逃奴也不例外，只要让他们拥有兵器和战马，就能成为一名合格的骑兵。