在父亲知渭州时，折彦质于大观四年（1110年）以朝请郎的身份担任直秘阁参军事，开始了自己的军旅和宦海生涯。宣和七年（1125年），金兵擒辽主天祚帝，下燕京，围太原，直逼开封，人心惶惶，不可终日。
靖康元年（1126年）正月，折彦质与种师道、姚平仲（这个家伙一战溃逃数百里，隐于山中数十年）、姚古等率军勤王，在南关、黄河等地与金兵血战。
六月朝廷以李纲为河东宣抚使、折彦质为勾当公事前往救援被金兵围困的太原，折彦质随制置副使谢潜自威胜军出兵，与金兵血战四天，最终因为金人增兵未能成功。但是他的将才得到朝廷认可，被擢升为河北河东宣抚副使。
在与金兵的对峙中，他多次与金兵统完颜宗翰罕通信，表达自己想要和金国停战修好的愿望，他在书信中提到：“愿戒守兵之官，按兵不动，勿相侵扰，以俟盟誓之必成，和好之永结”。