湛时代，更加受到敬重，在对外战争中，斛律光屡立战功，因为他牢记父亲的话。“外戚者很少有保其族者，必须有战功将其维系。但是骄傲是人的原罪，斛律光有骄傲的资本，显赫的家世和赫赫的战功，骄傲的人总是抬着头而不屑去看脚下的路的。他看不起陆立萱，祖珽这样的下等人，认为他们是下贱的胚种，陆立萱为了拉拢斛律家，替其子穆提婆向斛律金庶女提亲。他还是有自知之明，只敢向庶女提亲，斛律光却感到受到污辱，气愤的骂道。
“罪妇之子，却也想攀附高枝。”
陆立萱听言气愤异常，却又无可奈何，但是仇恨的种子却深埋心底。
后主有一次赐给穆提婆晋阳田产，作为左丞相的斛律光在朝堂上侃侃而言，大声驳斥道。
“此田是神武皇帝用来，播种秧苗，饲养战马，以御强敌之用，今赏给提婆，那就等同破坏军务”
高纬讪讪不知如何是好，此事只好作罢。
高俨叛乱，斛律光谈笑风生中，一场叛乱便烟消云散，在他面前，这种级别的判乱就如同儿戏。更进一步的说明斛律光的能力和势力，在这一点，高纬颇为忌惮。对一个手中有刀的皇帝来讲，却无比的害怕一个权臣，高纬的皇后斛律氏生女儿，高纬