黄花，名绕道金棱，云津桥上种白花，名萦城银棱。每春月，挟妓载酒，自玉案三泉，溯为九曲流觞。男女列坐，斗草簪花，昼夜行乐。”。据说素馨花就是因他而得名，“花中有素馨者，以素兴爱之，故名。”段素兴喜欢花草，日子过得十分风流快活，“又有花遇歌则开，有草遇舞则动”，于是段素兴便“令歌者傍花，舞者傍草。”
段素兴在位不过三年，大理国朝野便开始盛传“素兴在位，荒淫日甚”八字。
其时，大理国开国君主段思平之玄孙段思廉于大理皇室之中颇有人望。当时高氏为相国，遂与诸大臣废素兴而立思廉。段氏皇帝宝座重又回到了段思平子孙一系。
说起西南高氏一族，却与大理段氏之家族渊源有着异曲同工之妙。原来这高氏家族虽然历代居于点苍山莲花峰芒涌溪，但却并非云贵蛮夷，其祖上却要追溯到中原汉代之时。
——高氏之先祖高光，在汉武帝之时曾被封为长沙御史。
——史书称：“高光，字宣茂，陈留圉城人，魏太尉柔之子也。光少习家业，明练刑理。初以太子舍人累迁尚书郎，出为幽州刺史、颍州太守。是时武帝置黄沙狱，以典诏囚。以光历世明法，用为黄沙御史，秩与中丞同，迁廷尉。元康中，拜