次女为妻。当时，乡人见他在学问上颇有上进，富人们多许妻以女。他曰：“富室之幼女，岂可处于兄嫂之间耶？”张杲是兄长之叔丈也，家以耕织为业，家里没有什么钱，其行谊为乡里所重。又闻其女，为人颇为贤良，他喜爱张杲女与嫂子既为姊妹，妯娌之间必定和眭，于是娶了她。
他自操井灶之劳，秫杆五根剖开可以熟饭。冬天的时侯，常常自已汲水，手与筒经常冻住，需要呵口气方能化开，开始做饭的时侯，常常缺油，每次因为点不起蜡烛，只能在月光下读书。夜里寒气上升，腿肚常常挨冻，起来绕着房间疾走，身上才有点热量，吃的苦难于用言语表达，妻子跟着他也受了不少困苦。
他三十四岁时，拜南京兵部尚书韩邦奇为师学音律，学了三月尽得他的技术矣，乃告于师曰：“乐学非他学比，不可徒事口说，必自善制器，自善作乐，播之声音，各相和谐，然后为是。”于是他自置斧、锯、刀、钻，构桐竹，易丝漆。先自制其管，管和矣，制其琴；琴和矣，制其瑟；瑟和矣，制其箫、笙、埙、箎之类，无不各和矣。又合诸乐总奏之，如出一律，无不和焉。师甚喜，曰：“我学五十年，止得其数。今赖子制其器，和其音，当代之乐，舍子其谁欤？”
有一天师父跟