直至腊月二十七那日，杨衡吴攸的船才到广州港靠岸。..他们已换了两艘大船，船上有挂在王子腾名下的直属水军二百余人，在广州还有营地。
吴攸过来与众兄弟相见，大伙儿险些认不得了。比从前在梨香院的时候换了一个人似的，又黑又壮，举手抬足间杀气十足，众人笑道：“有官威了！”再看杨衡，原先那股子江湖气市井气已找不着了，面目也硬朗许多。杨安这小崽子蹿高了一大截，皮肤黝黑，眼神锐利，显见是见过血的。这会子半大不大，绷着小脸儿装大人，怎么逗他也不肯撒娇。众人遂围坐在一起听他们说起这三年海上之事。
他们起初的船与船上几十个人皆是水溶送的。那会子杨衡吴攸不熟海情，老老实实跟着手下学。吴攸是识字念书的，上船头一日便说明，“跟着荣国府琮三爷的人不许有睁眼瞎，都得认字。”
偏杨衡愣了愣，道：“我也不认得字！”
吴攸道：“你也一道学，安儿也是。”
杨衡喜道：“安儿也学？船上能请来先生么？”
吴攸指着自己的鼻子道：“你当我是来做什么的？教书是我分内之事好么？”
杨衡忙拱手喊他“吴先生！”
吴攸摆手道：