皇帝陈顼猜忌，拜其为左卫将军，入京赴任。
欧阳纥认为这是调虎离山，于是举兵反叛，第二年兵败身亡，欧阳家男女老幼押送建康，满门抄斩，独有十来岁的欧阳询侥幸逃脱。
数月后，恰逢皇太后去世，陈国皇帝大赦天下，欧阳询才躲过一劫，被父亲生前好友江总收养。
因为是逆贼后人，所以欧阳询面对恶意讥讽只能保持沉默，以至于那些人越来越肆无忌惮，流言越来越难听，说当年他母亲被山中猿精掳走，待得欧阳纥救回来时，已经珠胎暗结。
这种人生攻击是极大的羞辱，但欧阳询只能忍，所幸养父江总位高权重，没什么人敢当面讥笑他，这些流言也就是在私底下传播。
后来陈国灭亡，欧阳询本以为这种无聊的流言会渐渐消散，未曾料最近居然在长安城里传播开来。
陈国灭亡后，欧阳询在周国有任用，行事一向小心谨慎，不会主动招惹人，却还有人这么乱传谣言，他倒是能猜出原因，那就是嫉妒。
欧阳询写得一手好字，不敢说天下第一，但除了同样写得一手好字的虞世南，没人敢跟他比字，所以有小人明面上比不过他，暗地里造谣中伤，说他是“猿猴所生”，此举极其恶劣。