石崇的金谷园最为著名。自从石崇死后，金谷园数易其主，终于在胡军迫近时被一把火烧成了白地。直到司马邺还都洛阳，梁芬从行，于是利用权势之便，夺其旧址，重新加盖，作为自家的重要别业——当然啦，其豪奢程度自然不能与石崇昔日相提并论。
梁芬当日辞去司徒职务，表面上是说自己年老多病，不能立朝，打算叶落归根，返回老家安定郡的乌氏去。但一来他还想再观察和监控朝局一段时间，继续给梁允、梁浚等人做靠山，二来担心乌氏近戎，不大稳妥，因此“归隐”金谷，迟迟不肯成行。直到虚除部殄灭的消息传来，至此安定以北，暂无大敌了，老家伙才终于束装起行，带着多年来积聚的十数车财物，一路西向。
比至长安，裴该亲迎入府，与梁芬商谈时局，相处甚欢。当然这并不是说梁老头儿对于政治方面的想法与裴该接近——正好相反，多数南辕北辙——而是如今裴该权势日盛，远非初入长安时可比，即便梁芬亦私下自许为裴氏之吏——不是盟友——故此言谈间每每刻意迎合裴该。
那意思 ，反正我也不当官，不管事儿了，那为什么还要直言相谏，或者故作异论，特意惹对方讨厌呢？万一祸延家门和子孙，岂非无妄之灾么？
居留数日