晋明帝去世后，太子司马衍继立，是为晋成帝，由王导及外戚庾亮辅政。当时军事重镇分别由陶侃镇守荆襄地区以及由苏峻及祖约等镇守淮南地区。陶侃怀疑因为庾亮的干预，使得未能辅政而感到不满，庾亮为了提防陶侃，任温峤镇守武昌。
由于苏峻及祖约对庾亮巩固中央的政策感到不满，起兵反叛。次年苏祖联军攻陷京师，胁持晋成帝，庾亮逃到寻阳。此时陶侃观望，经温峤力劝之下决定讨伐苏峻，苏峻迎战阵亡，陶温联军收复了京师，平乱成功。
事后庾亮请罪，外调镇守芜湖，朝廷由王导执政。陶侃去世后，庾亮代之，仍然遥控朝廷，与王导交恶。王导与庾亮先后去世，由庾翼执政，掌握荆州军权。
在东晋成立后，南迁的晋人莫不希望发动北伐，收复在北方沦陷的家园。但是由于世族已经安居江南，南方丰富的资产使得重返北方的意愿不高。但东晋建立后，依然进行了多次的北伐。
东晋初期，朝廷采取以攻为守态度抵御北方。祖逖意图北伐，晋元帝给予充分的支持，不仅从库存数千匹布帛中取出三千匹支援，晋元帝命祖逖收复中原。他招募流民建立军队北上，晋元帝还先后派自己的次子和司马扬出兵配合祖逖，并与当地坞堡合作，最后成功收