传说这里就是龙山文化的发祥地，也就是舜的故乡，这里有有先于秦长城的齐长城，有被誉为海内第一名塑的灵岩寺的隋代大佛，从古至今差不多已经有了上千年的历史。西周建国后行分封制，济南地区属齐国。中国首部诗歌总集诗经中，就收有一位大夫所作的讽刺诗《大东》，这也是现存最早的一篇有关济南的文献。春秋战国时期社会发生巨大变革，奴隶社会开始向封建社会过渡。济南属齐国，济南为齐国之泺邑。随后齐国又把泺邑改为历下，其时著名的齐晋之战，即发生在今济南一带。
秦始皇统一天下后，建立郡县制，那个时候济南属于济北郡，称历下邑。汉代的时候改称济南，因地处古四渎之一济水之南而得名。西汉文帝十六年以济南郡置济南国。景帝三年济南王刘辟光谋反被诛，国除为郡。西晋永嘉中移治历城县。东汉再次成为济南国。灵帝时曹操任济南相，政绩颇著。魏晋南北朝时期，济南多处于战乱之中。晋永嘉年间，济南郡治由东平陵移至历城，自此历城便成为济南地区的政治中心。
南朝宋元嘉九年于济南郡侨治冀州，北魏皇兴元年复名齐郡。隋朝开皇三年废郡，改济南郡为齐州，辖历城等十县，治所仍在历城。大业初复置齐郡。唐武德元年改齐郡为齐州，次年置总