此行事太过阴毒，不合适。
为此，他被杨坚斥为“书生意气”，由此开始疏远，不过待得隋国建立，杨坚又重新重用李德林，任其为内史令，参掌机要。
但好景不长，李德林又倒霉了，因为他得罪同僚，成为众矢之的。
李德林自幼有神 童之称，年纪轻轻就以学识渊博著称，而他恃才傲物，为人处事不够圆滑，不太会察言观色，以至于先前引得杨坚不快，后来又招惹了杨坚一众心腹的不满。
李德林和同僚相处，意见相左时经常发生争论，他对事不对人，然而因为说话不注意分寸，也不知道委婉些，得罪人都不自知。
以至于到后面，别人和他争论，都是对人不对事。
三人成虎、众口铄金，李德林很快就被杨坚判定为不堪重任，行事迂腐，于是再次疏远。
至此，李德林的仕途到了尽头，在隋国多年未得升迁，加上当年曾经反对屠杀宇文宗室，所以当周国收复关中后，当时的周国丞相尉迟迥没有为难他。
但也没有任用李德林，杞王也忽略了他，因为李德林是故齐旧臣，和关陇权贵们没什么渊源。
当时李德林年近六旬，见着折腾半生却一事无成，加上仕途无望，心灰