他师事第五元先后，又从东郡张恭祖学习了《周官》、《礼记》、《左氏春秋》、《韩诗》、《古文尚书》等书，其中除《礼记》和《韩诗》外，均为古文经学的重要典籍。郑玄向第五元先和张恭祖学习了今古文经学两大学派的重要经籍后，尚不以此为满足，又从陈球受业，学习了《律令》。在此期间，他还以明经学、表节操为目的，游学于幽、并、兖、豫各州，遍访名儒，转益多师，虚心向他们学习，共同探讨学术问题。读万卷书，行万里路，不辞劳苦，孜孜求道，郑玄的青年时代，就是这样匆忙而充实地过去了。到了而立之年后，郑玄已经成了一名有着较深造诣的经学家。
郑玄虽然已经学富五车，但他自己却毫不满足。当他感到关东学者已经无人再可请教了的时候，便通过友人卢植的关系，离开故国，千里迢迢西入关中，拜扶风人马融为师，以求进一步深造。马融是当时最著名的经学大师，学问十分渊博。他遍注儒家经典，使古文经学达到了成熟的境地。他的门徒上千，长年追随在身边的就有四百余人，其中优秀者亦达五十人以上。
马融为人比较骄贵和讲究，虽然门徒众多，但他只亲自面授少数高材生，其余学生则由这些高材生转相授业。郑玄投学门下后，三年不为马融所看重