五色谷一共设有五个门。分别为紫门，蓝门，红门，黄门和绿门，其中红门为清一色的女弟子组成的。
五色谷的五个门总共有1200名弟子，每一个门拥有240个弟子。门与门之间都是平起平坐的，并没有高下之分。
有着高低之分的则是每个门中的二百四十名弟子，他们是按照每年比武的胜负场次所得到的积分来排定前后顺序的。分数越高者，他的排列顺位就越高。我们就拿紫门来做一个例子，到了每届比赛结束之后，按照积分，最高的人便是紫门第一顺位弟子，依次排列，直至排到紫门第240顺位弟子。其他的门也是同样的排法。
每一年进行的五色谷弟子顺位赛，规则是这样的：整个比赛分两个阶段进行，第1阶段是本门间的个人赛。每个门的240名弟子先分成15个组别，每一组为16人，然后便进行单循环比赛。比赛在20回合以下结束的，胜者得10分，负者则是0分；在20至50回合结束的，胜者得8分，负者也是0分；在50回合至80回合结束的，，胜者得5分，负者仍是0分；若是在80回合以上才结束比赛的，胜者得2分，负者还是0分。这就是第一阶段的比赛规则。
第二阶段为五门合体赛，也就是每个门