来俊臣的父亲来操，本来是个赌徒，他与同乡蔡本要好，蔡本欠来操赌债数十万钱，无法偿还，来操于是就强娶了蔡本的妻子，她到来家以前先已经怀孕，生下了来俊臣，所以来俊臣便用来操的姓。
来俊臣天性残忍，喜好反复无常．不从事劳动生产，客居在和州，经常干违法犯禁的偷盗勾当，被逮捕入狱，他在狱中向朝廷密告谋反叛乱的事件。经和州刺史东平王李续，审查讯问没有事实根据，李续于是用刑杖打了来俊臣一百下。
武则天天授年间，李续因为犯罪被杀，来俊臣乘机上书行骗邀功，受到武则天的召见。他在武则天的面前，自称从前向朝廷密告琅邪王李冲谋反的事实，因而受到了李续的压制。武则天觉得他的话可信，于是经多次提拔，让他当上了侍御史，负责审问监狱里的囚犯，多次审处，都符合武后则天的旨意。
武后暗中放任来俊臣的残酷，以威力控制群臣，来俊臣摸准了武后以恶治国的心意，前后杀灭了一千多家，有生以来，与他有细微仇恨的人，全被他杀害。来俊臣又被提拔为左台御史中丞，朝廷内外官吏，都吓得不敢呼吸，以至于在路上相遇时，不敢交谈，只好用眼神示意。
来俊臣带领侯思止、王弘义、郭弘霸、李仁敬、康伟、