时对部下内眷的骚扰，激发地方勋贵以及官员、将领的强烈不满。
安惟学跟张彩关系很好，这二人有个通病，那就是好色。
张彩在朝中为吏部尚书，位高权重，好色的毛病逐渐显露。
二月中，张彩听说抚州知府刘介娶了个漂亮的小妾，刘介往京城接受吏部九年大考时带在身边，便在考核中定了刘介优异成绩，然后把刘介调为太常寺少卿，虽然官品没提升，但却从地方官做到了京官，日后外放至少是一省布政使。张彩亲自到刘府恭贺，让刘介报恩，然后硬闯内宅，将刘介的小妾带走。
三月下，平阳知府张恕到京参加吏部考评，有传言称其家美妾堪比西施、貂蝉，张彩得知后马上登门讨要，被张恕严词拒绝，回去后立即罗织罪名，定下发配充边之罪，逼得张恕涕泪俱下亲手把美妾送入张彩府中，这才减罪，仅以罚银了事。事毕张恕得张彩器重，调通政使司任通政，也算是升官了。
近来刘瑾越发倚重张彩，这不仅是因为张彩的权谋和能力，还因张彩不贪财。
沈溪离京阉党在朝少了劲敌，张彩便劝谏刘瑾：“公亦知贿入所自乎？非盗官帑，即剥小民。彼借公名自厚，入公者未十一，而怨悉归公，何以谢天下？”