入为兵部右侍郎。又历辽东巡抚、右都御史、总督漕运，弘治初年任兵部尚书。
西北的哈密地区是回、畏兀儿族等少数民族居住地，明初遣使入朝，中央政府于其地设羁縻卫所，封其首领为忠顺王、忠义王。
成化年间，土鲁番部强大，据有哈密。明廷曾设法干预，没有结果，似乎也就承认了现状，将哈密卫迁往他处。弘治元年，土鲁番部诱杀朝廷所封的忠顺王罕慎。弘治六年，又擒获另一个忠顺王陕巴，其首领阿黑麻自称可汗，以兵掠周围各部。
主持兵政的马文升主张兴复哈密。他采纳通事王英和指挥杨翥的建议，利用地处嘉峪关西南的罕东部。地处嘉峪关以西的赤斤、蒙古部等与土鲁番部的矛盾，抚而用之。前年春夏之交，马文升调罕东等部兵，夜袭哈密城。马文升所推举的陕西巡抚许进等率明军随后行进。土鲁番守将弃城而去，明军进入哈密。这是自明初以来，官军第一次深入西域地区。
马文升以兵部尚书身份。在西北统兵多年，算是久经沙场的儒将。光复哈密后，又用了两年时间威慑西北各少数民族，将明朝疆土足足向西延伸了三千多里，可以说是弘治一朝难得的肱骨大臣。
马文升回朝后，第一件事是向弘治皇帝述职，之