晚年因战事上为曹操大败，徐州大半几乎遭兵祸所害，以致过度忧劳而逝，终年六十三岁。
陶谦的父亲，曾经担任过馀姚县长。陶谦幼年时父亲去世，少年时以性格放浪闻名县里，十四岁时以布作为战旗，骑着竹马与乡里小孩子一起嬉戏。他的同乡、曾任苍梧太守的甘公出门时遇见陶谦，见到陶谦的外貌不凡，于是叫上车来与他交谈，感到非常高兴，把自己的女儿嫁给了陶谦，甘公的妻子对此非常愤怒，但是甘公对其妻说“这个孩子外貌奇特，长大后必成大器。”陶谦后来喜欢学习，先是考上诸生，在州郡为官，后被举为茂才，拜尚书郎，先后出任舒县令、卢县令。其后迁幽州刺史，被徵拜为议郎。
中平二年三月，北宫伯玉等率领羌胡进犯三辅，灵帝派遣左车骑将军皇甫嵩率军讨伐，皇甫嵩表请武将随行，召拜陶谦为扬武都尉一同出征，将叛军击败。七月，皇甫嵩因先前得罪中常侍赵忠、张让，在他们的诽谤下被贬官削爵。
朝廷另委派司空张温为车骑将军前往讨伐，张温请陶谦为参军，接遇甚厚，但陶谦素来轻蔑张温的作为，心怀不服。后大军回朝，陶谦在百官宴会上公然羞辱张温，张温大怒，意图将陶谦迁往边关，在别人的劝说下才将陶谦追回。张温于宫门迎接