早在攻占中都之后，成吉思汗听说有个耶律楚材学问甚大，便向几位出身女真族的金国降将乌古伦、寅答虎、攸哈剌拔都等人询问，方知此人确实是个杰出的人材。
耶律楚材字晋卿，号湛然居士，是契丹贵族的后裔，世居漆水。他是辽太祖阿保机的长子东丹王耶律信的八世孙，他的父亲耶律履博学多艺，在金章宗时位至副宰相尚书左丞，汉化的程度已经很深。
耶律楚材生于金章宗明昌元年，此时耶律履已经是花甲之年了，精通术数、会看相算命的父亲对亲人们说：“我已经年六十岁而得此子，他将是我们家的千里驹。我看他的相面，这个孩子他日后必成伟大的人物，而且当被异国之王所用。”因而他为儿子起名为楚材。
这是他根据《左传》楚虽有材，晋实用之的典故，给小儿子起名为楚材，字晋卿，似乎他早已经看到金朝必然灭亡，自己老来所生的宠子必将成为异国的名臣。楚材三岁丧父，他少年时由母亲杨氏教授学业，他的母亲杨氏名杏新，是隋朝杨坚的后代。
耶律履在一个朋友处喝酒，酒后偶然见到一位面貌清秀、知书达礼的少女，立刻为她温良大方的风度所倾倒，于是向朋友问道：“这个女孩是什么人？”
那朋友长叹一声说