高纬跑到了晋阳之后，忧惧至极，眼见战局形势吃紧，就想让安德王高延宗等人留守在晋阳，自己去北朔州暂避兵锋，如果晋阳陷落，他就想顺势逃往到突厥。
君臣纷纷的劝谏，高纬不听，安德王高延宗哭泣的苦谏，高纬还是不听，密遣左右送胡太后等人前往北朔州。在夜间，高纬想趁黑逃遁，诸将都不听令，他就下令以安德王高延宗为相国、并州刺史，留守在晋阳，统领山西的兵马。
兰陵王高长恭有两个同父异母的弟弟，安德王高延宗与渔阳王高绍信。兰陵王去世之后，安德王曾做了一首五言诗吊念，兄弟之间的感情不错，兰陵王邙山之战解了洛阳城之围凯旋而回之后，几个兄弟聚在一起，当时安德王就曾快人快语表示，兰陵王不是大丈夫，要是换了他就趁胜追击，不会让敌人逃回去。
安德王高延宗对兄弟的情感相当的真挚，他的三哥高孝琬遭叔叔武成帝高湛杀害之后，他气得在家中扎一个草人鞭打，并怒骂说：“你为什么要杀我的哥哥？”
安德王家中的仆人向高湛告密，高湛用马鞭狠狠地抽打他，鞭了他两百下，几乎将安德王打死。还好安德王命大没死，行为也因此收敛了许多。
安德王从小就活泼聪明，很受叔叔北齐开国皇帝