道：“这个女孩是隋朝皇帝杨坚的后代，只因为她的父亲嗜酒好赌，把家产荡尽，为还赌债，不得不卖妻女，妻子不甘被卖，跳水身亡，女儿被朋友领回家来，认作为干女儿。”
耶律履听到后，十分同情她的身世，请回家里一叙谈，才知道她从小读书识字，是个学识渊博的女子，便收在房中做妾，不久便生下了耶律楚材。杨氏还善长于弹琴，楚材自襁褓中就受琴声熏陶，成人后也喜爱弹琴作曲，深得她母亲的天赋。
成吉思汗建国称帝的时候，耶律楚材十七岁，书无所不读，为文有大家气概，二十四岁的时候，被金王封为开州同知，名声已经很大了。二十五岁的那年，金宣宗南逃时，蒙古军队围攻中都正在吃紧，楚材的哥哥辨材与善材都随着金宣宗护驾南逃去了，他奉命留守中都，被完颜承晖选拔为尚书省左右司员外郎。
耶律楚材从小博览群书，尤其精通经史，旁及地理、天文、律历、术数及释老、医卜之说。在童年和青年时代，他目睹了连年战乱给人民带来了巨大的苦难，因此在中都被围期间他又主动拜万松老人为师，皈衣佛教，企图从佛学理论中寻求精神寄托。
此时耶律楚材眼看金国大势已去，自己觉得回天无力，从佛学中也没有找到出路，便弃官出走