施恩于蜃楼，实则暗中作对，百般刁难。公孙蜃楼只道赵无极性格一向如此，因此逆来顺受，打碎了牙往肚里咽，甚至还对赵无极心怀感恩，愚忠至此，实乃名家之悲哀！
公孙蜃楼为奴为仆，如此践踏自己的尊严，换来的不是赵无极的宽恕，而是其深感无趣之后变本加厉的掠夺和压榨。之后他故意冷落公孙蜃楼，直至苏南之战阴谋颠覆江南武林失败，心中怒火无处发泄，无故降罪于蜃楼，将其贬为府内仆人。公孙蜃楼的地位一落千丈，就此黯然失色，心怀郁结。
再后来赵无极故意表现出对公孙非楼的喜欢，让公孙蜃楼重新燃起了回归王府权力中心的希望。他求助于师父孙无涯，透露了愿将妹妹非楼嫁给赵无极的意愿，孙无涯假意欣喜，满口答应定将亲自保媒以促成这一段姻缘。公孙蜃楼感激涕零，几度跪谢不提。
之后公孙非楼成为襄王妃，赵无极开始将仇恨目标转向非楼。先示之以好，让其担任了其母展凝病逝后萩阳门内空虚了数十年的凤护法之职，日夜与之厮混，恩爱非常，让其对他死心塌地，片刻也离开不得。
公孙蜃楼虽然没有重新得宠，但见非楼人前显贵，心亦稍安。直至数十年之后，“孤雁山谋划”之前几月，赵无极开始冷落公孙非楼，