不提王敦、钱凤等人密谋，单说王羲之和庾翼二人在武昌停留了三四日，便再登舟船，继续西上，于路游山玩水，倒也惬意。终究都是没怎么出过远门的小孩子，本就贪玩，再有家族重任担在肩上，二人却不但不深自砥砺，反而以之为苦，既然如此，那还不如多松快一天是一天呢。
如抵达襄阳之时，庾翼就对王羲之说：“听闻城东南有鹿门山，中有鹿门寺，为彼处盛景，我等既然途经，不可错过啊。”
王羲之闻言不禁蹙眉，问道：“既云寺，必是释教祠庙，又有什么可看哪？”
庾翼笑道：“阿兄差矣，此寺非同别寺。据传后汉建武中，光武帝与侍中习文通游于黎丘，梦见二鹿来谒，自称苏岭山神 ，遂命习文通立祠于山，刻二石鹿夹祠道口——山乃改名为鹿门山……”
王羲之不解地问道：“则既是山神 之祠，为何又唤作寺呢？”
“寺”字本指官舍，如鸿胪寺、大理寺之类。其后释教传入，自西域以白马驮经而来，初止鸿胪寺，故而中国历史上第一座佛教修行所在“白马寺”，就此以寺为名了，逐渐成为通例。
庾翼摇头道：“何时改为佛寺，小弟却也不知了……”
王氏一门，尤其王会、王