他要是一门心思当隐士也就罢了，终究人不可强、志不可夺。但韦忠随即又说了几句话，就彻底得罪了裴氏。他说什么了呢？
“茂先（张华）华而不实，裴欲而无厌，弃典礼而附贼后，若此，岂大丈夫之所宜行耶？！”
当时正是贾后垂帘，朝中第一大老是其族兄贾模，张华和裴与贾模共同执政，推其居尊，在外人看来，确实有因为贪慕权势而依附显贵之迹就算把那两位从地下挖出来，他们也是难以自证清白的。但问题张、裴都对你不错啊，你韦子节能不能留点儿口德，评人别这么过于刻薄好吗？
裴氏就此与韦家断绝了往来就算裴脾气好，不以为忤，他的族人不可能全都那么大度量。不过一门上下，也没谁打算去刻意打压韦忠隐士是大家伙儿全都敬佩的，你若真能一辈子守节固穷，那视我等在红尘中辗转之辈为浊流，本也正常，我们没啥可反驳的。
谁想到没过多久，韦忠便应平阳太守陈楚之召，出仕做了郡功曹。其后山羌作乱，陈楚战败逃亡，被贼追上，连中三箭，韦忠以身遮护，还哭着说：“我愿意以身代君，还望诸位怜悯。”硬是帮陈楚受了接下来的五箭。山羌不禁动容，相谓道：“这是义士啊，杀之不祥。”这才把他们都给放了。