身边的侍从人员，包括中书人员，负责撰写信件，奏表，公文，上下的公文流传，记录归档，在秘书阁是枢机房负责，在司从曹就有中书房与枢机房对接。
然后就是侍卫房，就是负责君侯安全，在别院时入驻警备，出外时随侍护卫。
还有个审计房，黄来贵他们不太清楚审计的流程，不知就里。
再有警备司，负责全岛的不法之徒，以及盗匪情报收集，肃查，剿灭，日常治安等，直归司从曹管理，也是君侯一手掌握。
再有就是礼宾房，负责侯府的内外交往，包括仪式典礼的举行，都是由礼宾房来负责。
这此事原本侯府有专门的职位，就是侯府宾客，但没有属吏和专门的机构，就是吴时中一个人和几个吏员，现在当然是不足使用了。
而吴时中就算挂着宾客的官职，也只是对外遮掩所用，其到了东藩岛上，也会是秘书阁右辅兼判学房，这也是早就给吴时中留好的位置。
按照司从曹吏员的要求，黄来贵等人俱是换了一身比较干净的衣袍，要说体面是肯定不太体面，他们刚领了两三个月的俸禄，手头俱是宽松了，但很多人将钱财交给妻子或父母保管，在南安侯府的体系内，所有水手的家人多半被安置在南安