人口又多，回到祖宅中居住，虽是一门女眷，有族人帮衬，又有田产补贴，生活并不会难过。可是当时几乎人人都认定太子与太子妃再没有翻身的希望了，便视秦家为洪水猛兽一般，避之唯恐不及。就连秦氏族人，也都刻意疏远永嘉侯府女眷。当中甚至有不肖族人，借口他们这一房中，除了叶氏夫人是正经秦家媳妇，其他皆是姬妾，上不得族谱，不是秦家人，克扣他们这一房该得的钱粮。叶氏夫人不得不带着众女，依靠卖针线度日，积劳成疾下，终于因病亡故。
当时回乡的人，除了叶氏夫人外，薛氏被薛家接走，便与秦家人彻底断了往来，对秦家女眷的困境不闻不问。符姨娘老实巴交的，依附叶氏夫人生活。还有秦槐一个姓张的妾，怀有身孕，竟然保住了这个孩子，没有在颠沛流离之中发生任何意外，终于在江宁祖宅中生下了一个女儿，取名幼珍。除去这三个女人一个孩子，其余姬妾，终于还是受不了秦家的清苦生活，纷纷求去。叶氏夫人也不阻拦，任由她们去了，自己带着符姨娘、张姨娘与秦幼珍过活。她去世后，符姨娘、张姨娘依靠秦幼珍的秦家女身份，继续留在秦氏宗族。
正当有些族人打算借口他们这一房已经没有男丁，孤女秦幼珍该由其他族人收养为由，夺走他们的祖产时