之下解除了职务，最后从领军将军发配到执戟郎。所谓的执戟郎，就是战兵死士，大头兵一个。在苏虎成为大头兵时，他也没有气馁，在关中之战时，苏虎又立功了，一下子被连提四级，因功升为军候。后来在划归安北军时，又渐渐立功，成为正五品的前锋督护。结果刚刚立功的苏虎尾巴又翘起来了，有一次积射将军杨乐请苏虎喝酒，苏虎大醉。在杨乐府邸借宿的苏虎顺便把杨乐的小妾给睡了。
要说文人雅士之间相互赠送美婢是一件美谈，可是武人和文人不同，武人都是火爆脾气，一点就着。积射将军杨乐也是外柔内刚的性子，与是与苏虎翻脸大打出手，杨乐和苏虎本身是好友，而且所长不同，杨乐善射，苏虎善长步下近战。在平地上打斗，苏虎一个可以打杨乐七八个。这一番打斗，杨乐被苏虎砍掉两根手指头，偏偏杨乐还是神 射手，结果掉了两根手指头，一身的功夫算是废了，因而二人算是彻底撕破脸了，苏虎的名气也全毁了，一怒之下，苏虎被安北将军籍罴发配为晋阳城门校尉。说是城门校尉，也挂着校尉的头衔，可是这个校尉却不值钱，只是管理上几十上百人的守城卒。
这次改革府兵，苏虎就自动提出退伍。冉明也直接同意，于是苏虎从正规军中退下来，成为靖边堡的折冲