临洮郡处于陇西盆地西缘，青藏高原东边，属黄土丘陵沟壑区区，地势由东南向西北倾斜，黄河上游最大的支流洮水穿境而过，临洮之名便是因为这条河得名。
秦始皇设置郡县制之时，临洮郡属于古之陇西郡，当时的陇西郡包含了甘肃中部、宁夏南部、青海东部的广大区域，由于陇西地盘太大，更因为这里是西进青海、南下益州的战略古道要冲；所以后来逐渐割裂、划分，所以今天的临洮郡，只是古之陇西郡极小的一部分。
值得一提的是李氏始祖李崇是陇西郡首任太守，崇四世孙李仲翔为汉初将军，讨叛羌战殁狄道，葬狄道东川，仲翔三世孙便是大名鼎鼎的“飞将军”李广，到了东晋，李广第十六世孙李暠建都西凉，史称西凉武昭王。后魏太和年间定四海望族时，以陇西李氏称冠。而李渊则是李暠七代孙。所以严格来说，“陇西李氏”祖籍地并非是现在的陇西郡，而在临洮郡。
境内的西倾山属于雍、凉、益三州交界处，是黄河首曲后与漓水、洮水、白水的分水岭，漓水、洮水、白水分别发源于西倾山北侧和东侧，南下、西进之主要道路便是沿河而修。
这里还不是千沟万壑的荒山，境内河渠纵横，树林茂密，分布着大片大片的肥沃耕地，是河湟地区