平阳城的历史非常悠久，乃是传说中帝尧的都城，春秋时代属于晋国，为羊舌氏之封邑。汉代设平阳县，属河东郡，曹魏时期分河东郡北部为平阳郡，乃以同名之县为其郡治。晋永嘉三年，刘渊据之为都。
经过刘渊、刘聪父子两代的经营，平阳城先后三次扩建，城池范围很广，防御设施相当完善，黄河以北，几乎唯有从前的邺城可以与之相提并论。所以说，倘若胡汉不起内乱，即便其地日削，最终被压缩到一城之内，裴该也是轻易难克的。
然而刘聪、刘曜相斗，杀得城中户户挂孝，寻机出城逃亡者更不知凡几，更重要的是，把人心全都杀散了，士气全都斗没了。因而当裴该于城下击退石虎之后，刘曜自知难守，乃主动弃城北遁——平阳坚城，就这样轻易地落到了裴该手中。
裴该初入平阳的时候，还以为自己能够接收胡汉朝巨量遗产，比方说繁盛户口和大笔粮秣、物资——关键是没见城内起火啊，则刘曜必不及焚烧府库吧。谁想到进城一搜，晋戎官吏、百姓剩余不过六七千人而已——后来陆陆续续从乡下返回一些，也还不足万数——至于府库，空可罗雀，即便没收胡汉官吏私家存粮，也还不到一万斛……
怪不得刘曜不肯死守平阳城呢，即便