时因为搜集的奇花异石太多，需要动用大量的船只来运输，甚至直接调动漕运的运粮船，而为了编组，他们将十艘船变为一纲，也就是所谓的花石纲。
在宋代的时候，陆运和水运的各项物资大都编组为纲，如马纲，米饷纲等，其中，马匹是五十匹为一纲，大米一万旦为一纲。
搜集奇花异石，耗费巨大的人力物力也就算了，关键还有扰民一项，这个是影响最大的，因为好多奇花异石不在野外，就在普通老百姓的家中。
而一旦这些奇花异石被这些负责花石纲的小吏看上了，那就是皇帝的东西了，随便用黄纸一贴，老百姓就要天天守着，不能让其有丝毫的损伤，否则，就要治大不敬之罪，轻的罚款，重的抓进监牢。
有的人家被征的花木高大，搬运起来不方便，兵士们就把那家的房子拆掉，墙壁毁了。那些差官、兵士乘机敲诈勒索，被征花石的人家，往往被闹得倾家荡产，有的人家卖儿卖女，到处逃难，老百姓可谓是苦不堪言，对负责花石纲的人极其痛恨。
最可恨的是，宋徽宗曾得到一块进贡的太湖石，高达四丈，可谓是非常的庞大，而为了运输这块巨大的石头，沿途所有能够遮挡巨石的设施都要拆除，比如城墙碍事了，那就把城墙给拆