裴该、祖逖一行浩浩荡荡进入淮阴城，是在这一年的六月上旬。
山南水北为阳，山北水南为阴，所以淮阴城顾名思义，就是坐落在淮水南岸的城池。此县古已有之，据说肇建于战国时代，秦时归属泗水郡——韩信的淮阴侯，封地就在此处——汉、魏时则先后隶属于东海、下邳、临淮等郡国，直到晋武帝太康三年，才归属广陵郡，并将郡治设在此处。广陵八县，在淮南有舆县、广陵、海陵、高邮、射阳、盐渎，以及临淮，在淮北还有一个淮浦县——裴该等人暂且不打算渡去北岸治理。
既是广陵郡治，又濒临淮水，地理位置非常重要，故而祖逖曾留部曲高乐等人在淮阴城内，联络同道，并且打探周边消息。一行人就此顺利地进了城，先修缮衙署和府库——不过城里只有郡衙、县衙，却并没有州衙，祖逖想把郡衙让给裴该，却被裴该婉拒了，反正暂时也没人堪当淮阴令之职，那就我委屈委屈，一州之长入居县署吧。
召集城内富户议事，并且打问县内情况。这一问可了不得，敢情淮阴大县，户口原本为一郡之首，可是等到天下大乱，长吏皆弃守而去，就彻底变成了法外的罪恶渊薮，百姓流离，盗贼四起。不过最近一年多的时间倒还勉强算太平了一点儿，因为各乡地