，白天要去做苦工，只有晚上才有时间读书。因为家里买不起火烛，他将主意打到了邻居头上。为了能在晚上读书，匡衡灵机一动，在墙上凿了一个小洞，邻居家的光就透到了自己家里，于是，匡衡便用“偷”来的光，读完了家中所有的书。
长大后的匡衡才华横溢，但科考之路并不平顺，汉朝时，博士弟子掌握六经中的一经，就有资格参加考试，获得官职，考试得甲科，可以做郎中，得乙科，可以做太子舍人，得丙科，只能补文学掌故。匡衡考了九次，才得了丙科，被补为太原郡文学卒史，或许金子到哪都会发光，匡衡由于熟读《诗经》，被刘奭发现。
刘奭即位后，为汉元帝，匡衡被重用，升任郎中、给事中，没多久，京城发生日蚀、地震，匡衡引用《诗经》中上行下效的道理，劝谏元帝减少奢靡之风，多行善意之举，元帝颇为受用，加封匡衡为光禄大夫、太子少傅。
公元前36年，丞相韦玄成去世，匡衡被封为丞相、安乐侯。任职期间，匡衡非常努力，是元帝得力帮手。
每次和大臣们讨论国家大事时，匡衡总能引用《诗经》里的典故，处理好国家大事。元帝后期，朝政较为混乱，宦官石显趁元帝生病，结党营私，扰乱朝政，大儒萧望之被石显逼