山、潜山、皖山、皖公山、万岁山、万山，其实皆为一山，只是天柱山一山多名罢了。西汉元封五年（公元前1o6年），汉武帝刘彻行南巡狩，自浔阳，顺江而下，经盛唐（今安庆市盛唐湾）入皖口（今怀宁县山口镇），溯水而上。法驾谷口（今天柱山野人寨），登礼天柱，“号曰南岳”。
诗句“天柱一峰擎日月，洞门千仞锁云雷”和“奇峰出奇云，秀木含秀气。清冥皖公山，巉绝称人意。巍然天柱峰，峻拔插天表。登跻犹未半，身已在蓬岛。凭虚举鸾鹤，举步烟云绕。天下有奇山，争似此山好”是对天柱山雄奇景象的精彩描叙。又素有“五岳归来不看山，黄山归来不看岳，天柱归来不看峰“之赞誉。
天柱山在历史上被道教、佛教视为宝地。道书所载，天下有八天柱，中国有三，潜其一也。天柱山在道家眼里具有极其重要地位。东汉名道左慈就在此“炼丹得道”。道家封天柱山三祖寺为三十六洞天，七十二福地，称天柱山为第十四洞天，第五十七福地。
潜山县城，自汉时起即为兵争重镇。此时的庐江郡是以庐江中部东西走向的潜山为界，山南被孙权控制着，山北才在曹操手里，由于后勤供应受到潜山的阻隔，曹操大军无力越山作战，兵少却又难以在江北山南的狭