上，这些印象只有很少一部分是事实，大多数反而都与史上锦衣卫的实际情况相去甚远。
锦衣卫中真正负责“特务”工作的人，在整个锦衣卫机构当中，大概只占百分之五，以“缇骑”为主，由北镇抚司掌握。
这些缇骑人数其实并不算多，譬如宪宗成化年间，锦衣卫掌卫官所统缇骑就只有一百人，专门负责监察京师的不轨、亡命、盗奸、机密大事；巡捕官所统缇骑也只有二百人，专职捕贼。这些缇骑的来源主要是“大侠或贾人子”。
另外就是，东厂也在锦衣卫中选取了八十人，多是“捷悍利牙爪者”，专门“钩察出人帷簿间”，太监汪直专宠时又曾开设西厂，缇骑人数比东厂要多一倍，职权更在东厂之上，能够“纠察中外文武大小及民间事”。
这些缇骑（有侦缉职权的锦衣卫校尉），才算得上“特务”，人数一般不超过六百人，占锦衣卫总人数的比例不到百分之五（注：一个所满编是1120人，锦衣卫有17个所）。而且缇骑是从民间挑选，和一般卫所人员是父子世代承袭的规定不同。
简而言之，大多数父死子继的锦衣卫，其实不算什么特务，只是单纯的“天子亲军”，也没有什么缉拿不法的职权。锦衣卫真正令官员们警惕、