运，他家祖孙几代都是大名人，都是朝廷重臣，声势一时无两。他的叔曾祖父是东晋名臣谢安，他的祖父是东晋名将谢玄，谢安是淝水之战中东晋总指挥，谢玄是淝水之战中东晋的前线总指挥，这叔侄二人以八万东晋北府军击败前秦苻坚的八十万大军而名载史册，一起指挥了这一场以少胜多的经典战例。
谢灵运后来继承了祖父谢玄的爵位康乐公，他的堂弟谢晦是南朝刘宋的开国功臣、权臣，他的其他几个堂弟在刘宋朝廷也都是重臣。
谢灵运的生母刘氏是王羲之的外甥女，他的姑奶奶谢道韫是王羲之次子王凝之的妻子。
不过谢家很快因为谢晦的反叛被杀而败落下去，家族中有份量的人物不是被杀就是被流放。
谢灵运文采不凡，所做诗词一经传出，无论贵贱都竞相传抄，不久就天下闻名，但他却经常触犯律法，在朝为官时，南朝两代皇帝都不把他当大臣，只当做文人，可谢灵运觉得自己既然是大名人，那就应该参与朝政，而皇帝在召见他是都只让他谈论诗文，几个名气比不上他的人却比他还受宠，他因此愤愤不平，于是在皇帝召见他时经常称病不朝，他依靠祖辈父辈留下来的丰富家底和深厚的人脉关系的余荫大肆修建园林、种植花草、纵情山水，经常