罗成仔细打量着这个年轻人，发现长的高大威武，脸有些黑，但是很健壮，仔细的询问了一番，得知他少年时家境贫困，但爱好学习，只是家中无钱财供他读书，于是便经常跑到庄上大地主家的宗学去偷听，每当放牛砍柴之余，就伸出手指在空中或地上写写划划，来练习写字，巩固偷听来的知识。
到后来，那个大地主家的宗学里的一群地主子弟和族人，倒没几个学出名堂的，偏偏这个偷听的却反而学的不成，让那位宗学里的先生惊叹不已，视他为一个好苗子，于是收他做了弟子，倾力相教。
后来隋末大乱，到处兵荒马乱，刘仁轨的父亲被征召为兵，辗转于数支势力之间，先后投过李密、王世充等，再后来又归附秦军，只不过运气不太好，归附秦军没多久就战死了。刘仁轨也因此得以补录进义儿营中学习，因其能识会写通熟典经，于是受到义儿营中教头的欣赏，让他做了义儿队头。
再后来他被分到了颍川郡丞李如珪帐下为侍从扈卫，有次李如珪按朝廷的要求，向朝廷起草奏疏汇报地方的情况，并提出自己的一些建议。刘仁轨看到那份草稿后，便替他修改了。奏疏呈到朝堂上，连政事堂的宰相们，也对这份奏疏十分惊叹满意，不但条理清晰，简明扼要的说明了颍川