王孝杰少年时便从军入伍，随唐军四处征战。因屡立战功，很快便晋升为军官。
仪风三年，鉴于来自吐蕃的威胁，高宗下旨对吐蕃进行大举反攻。王孝杰随左卫大将军刘审礼出征，被吐蕃主帅论钦陵突出奇兵包围，刘审礼与王孝杰兵败被俘，刘审礼受重伤身亡。
王孝杰被押回吐蕃后，年少的赞普器弩悉弄见王孝杰长得非常象父亲芒松芒赞赞普，所以对他厚加敬礼，由是免死。在吐蕃的这段时间，王孝杰暗中进行调查，对吐蕃的风土人情、山川地貌了如指掌。后来，王孝杰被器弩悉弄赞普送回大唐。
武则天执政后，名将王方翼、程务挺、黑齿常之等人，先后被酷吏诬告而诛杀，王孝杰在军中崭露头脚，因功累迁右鹰扬卫将军。
吐蕃在垂拱三年翻越喀喇昆仑山和昆仑山进入西域，攻克安西四镇，而后长驱东入，前锋直达敦煌。西州都督唐休璟上表朝廷，请求发兵抵御吐蕃，收复四镇。为保证作战能顺利进行，武则天启用了久在吐蕃、熟谙吐蕃军情的王孝杰为武威军总管，与左武卫大将军阿史那忠节联兵，率众讨伐吐蕃。
十月，王孝杰率兵从西州出发，转战数千里，直至于阗等地，大破吐蕃。自此，唐朝重新收得安西四镇。武