在西氏族到达以前，这里已经居住着苗族“赏”氏族。西江地名中的“西”指西氏族，“江”通“讨”，即西江是“西”氏族向“赏”氏族讨来的地方，“西江”因此而得名。“西”氏族到达并定居在西江以后，陆续又有其他苗族分支迁来，形成以“西”氏族为主体的苗族融合体。传说西江有千年以上历史。西江苗族和苗族先祖蚩尤之间有着密切的关系。根据《林荫记》中记录的西江苗族子连父名的世系谱，从蚩尤到1732年间共有284代，说明生活在西江的苗族是蚩尤的直系后裔。
春秋战国时期，雷山属牂牁国与且兰国之边地，战国时属大夜郎国，秦时属象郡且兰县边境，西汉时处且兰、毋敛两县之间，东汉时属毋敛县，三国属蜀国之牂牁郡辖之边地，魏晋时期属牂牁郡宾化县境，唐朝时属于罗恭县，五代至宋朝属夔州路绍庆府羁縻州，元初属“管外苗族地区”，元朝中期属湖广省播州宣慰司，明属管外苗族地区。
清乾隆年间，清政府为了管理苗疆，对苗族人民实行编户定籍，强行取消苗族子连父名的传统，用苗名的谐音来定汉姓，西江境内苗族的蒋、唐、侯、杨、董、宋、顾、龙、陆、李、梁、毛、陈、金、吴等姓就是由此而来。从秦汉到元、明、清初，雷公山大山区朝廷