家人出城逃难。当时大雪纷飞，老幼相扶，金国骑兵迅速追了上来，李氏家族有二百人余人不幸遇难，白雪染成了红色，李世辅和部下26人奋力逃脱，而他的父母妻子都死于金人的屠刀，“是日，天昏大雪，延安人闻之皆泣下”，南归无路，道路封锁，李世辅不得不投奔了党项人的西夏国。
在西夏，他以三千之众，大破“青面夜叉”的五万之兵，为西夏朝廷拔去了这颗眼中钉。随即，他引导西夏军二十万来到了延安城，而鄜延路已经复归宋室。李世辅见到了讲和赦书，召集了八百旧部，他抓住了那些杀害父母弟侄的凶手，一一砍下了他们的脑袋。
他要投奔大宋，而西夏不允，双方遂起冲突。李世辅“驰挥双刀，所向披靡，夏兵大溃，杀死蹂践无虑万人，获马四万匹”，他一路招兵，很快拥有马步军四万多人，“撒里曷在耀州，闻显忠来，一夕遁去”。李世辅显忠越过秦岭，回归宋室，四川宣抚吴玠这样赞扬他，“忠义归朝，惟君第一”。
绍兴九年（1139年），李世辅在临安府拜见了当时宋帝赵构，赵构赐名显忠，时年30岁。
杨炎见李显忠约五十六七岁年纪，中上等身材，满脸风霜之色，颔下一绥短髯，一双眼睹炯炯有神，精光四射，显示