令他一个人负责侦察，经常乘隙钻进敌方偷看虚实，有时出乎对方意料之外，乘机猛攻，战果丰硕，军中称作“神勇将军”。
武德四年（621年）五月，建德被唐军所败，夏政权灭亡，躲藏在漳南县老家，种蔬菜自给，闭门不出。
武德四年（621年）七月，唐高祖下令将窦建德斩首，又强征窦建德旧将范愿、董康买、曹湛、高雅贤、王小胡等人到长安。范愿等人既愤窦建德被杀，也鉴于王世充降后，部将不能保全。于是决定起兵反唐，并通过卜卦问得知奉姓刘的为主能够成事，就去找窦建德旧将刘雅。刘雅认为天下已平，不愿起事。范愿等怒斥刘雅不义，杀之而去。又找到刘黑闼，陈说因由。刘黑闼大喜，杀牛会众，招得百十号人，一举袭破漳南县城。后又大败贝州刺史戴元详、魏州刺史权威，尽收其器械及余众二千人。七月十九日（8月11日），刘黑闼在贝州漳南设坛，祭奠窦建德，自称大将军，正式大举起兵。[8]
八月二十二日（9月13日），刘黑闼攻陷历亭，屯卫将军王行敏战死。窦建德故将旧吏纷纷杀死唐朝官吏，响应起义。八月二十六日（9月17日），深州人崔元逊杀其刺史裴晞，叛附于刘黑闼。唐兖州总管徐圆朗也起兵响应。