乐山曾是古蜀国开明部落故都。战国秦武王二年（前309年），秦武王派兵南下，灭掉开明氏原管辖地区统治，秦国在今乐山市市中区建立南安县，"治青衣、江会"即今青衣江与岷江交汇处，属蜀郡，并从陕西泾水地区迁来大量人口到青衣江流域定居。
周赧王五十九年（前256年），李冰组织乐山人民凿乌尤离堆，开出麻浩河。从此，岷江，大渡河在乐山一带的水上航运逐步发展起来。
西汉汉文帝时，南安人邓通铸造钱币，有“邓氏钱布天下”的说法。汉武帝开西南夷并设立犍为郡，南安县属之。
三国时期，蜀国丞相诸葛亮在犍为铁山冶铁制造武器、工具等，乐山的冶炼规模和技术已达到先进水平。
魏晋南北朝，东晋末年，析南安设置冶县，重点对迅速发展起来的冶铁业实行理。这一时期，原来居住在广西、贵州、云南一带的十多万僚人进入四川，乐山犍为铁山以及三江流域聚居了大批僚人。居住生活延续了二百多年。
南北朝时期，因战乱不断，乐山地区的建制屡有变迁。建武三年（496年），乐山划归眉山管辖，在武阳县南境建齐通左郡（眉山），属益州，辖地包括今东坡区、青神、丹棱、洪雅和乐山市中区、夹江、峨眉山等地，郡治在今东坡区县城北十千米的太和镇龙安村。
北周置嘉州。北周保定元年（561年），于南安县故城置平羌县，立平羌郡。宣政二年（579年），以平羌郡置嘉州，以州境近汉之汉嘉旧县，取“郡土嘉美”之意。
隋朝开皇三年（583年）废平羌郡；四年改州理平羌县为峨眉县，另析县东北置平羌县；开皇九年（589年），复改为青衣县，以青衣水为名，另于峨眉山下置峨眉县；开皇十一年（591年），增置玉津县；开皇十三年（593年），复改青衣为龙游县，传说是隋朝军队从成都乘船向乐山进军、追击陈国败兵时，岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游县，另增置夹江县。大业二年（606年），嘉州并入眉州；大业三年（607年），改为眉山郡，治龙游县。此时，乐山能造黄龙大船，成为四川江河沿岸的重要造船基地。
唐武德元年（618年），改眉山郡为嘉州，属剑南道；武德二年（619年），析通义四县复置眉州。麟德二年（665年），置罗目县；上元元年（674年），以戎州犍为县隶嘉州；天宝元年（742年），改嘉州为犍为郡；乾元元年（758年），复为嘉州。仪凤以后，嘉州辖龙游、平羌、夹江、峨眉、罗目、犍为、玉津七县。唐代时，种茶业已十分发达。岑参赋诗描述嘉州城外“田半种茶”。唐朝中期开凿了举世闻名的乐山大佛。
宋庆元二年（1196年），升嘉州为嘉定府，属成都府路。后废罗目、平羌、玉津等县。领五县一监：龙游县、洪雅县、夹江县、峨眉县、犍为县、丰远监。
元至元十三年（1276年），升嘉定府为嘉定府路，治龙游，领一司四县二州，录事司，龙游，夹江，峨眉，犍为，邛州，眉州。于沐川等地置马湖路，今之沐川、马边等地均隶马湖路。
明洪武九年（1376年）四月，降嘉定府路为嘉定府，九月，降嘉定府为嘉定州，降眉州，邛州降为县，仍属嘉定州，降荣州为荣县属嘉定州。十三年（1380年）十一月，复眉州为州，划出。成化十九年（1483年），升邛县为州，划出。领六县，乐山县、峨眉县、洪雅县、夹江县、犍为县、荣县。明代于今沐川、马边等地立沐川长官司，隶马湖府。
清雍正十二年（1734年），升嘉定州为嘉定府，并在府治置乐山县，取“城西南五里有‘至乐山’”为名，改龙游县为乐山县，“乐山”之名沿用到今。领七县一厅：乐山县、峨眉县、洪雅县、夹江县、犍为县、荣县、威远县、峨边厅。清代析沐川长官司置马边厅，后废沐川长官司入屏山县；析峨眉县置峨边厅。
中华民国废州府，民国二十八年（1935年），乐山县城设第五行政督察专员公署。民国三十二年（1943），析屏山县置沐川县。
中华人民共和国成立后，设乐山专员公署。
1950年，设乐山专区，属川南行署区。乐山专署驻乐山县。辖乐山、犍为、沐川、屏山、雷波县、马边、峨边、峨眉、井研等9县。
1951年，由犍为县析置五通桥市，属乐山专署领导。乐山专区辖1市、9县。
1952年，废川南行署，乐山专区属四川省领导。
1953年，撤眉山专区，原眉山专区所属眉山、彭山、青神、夹江、洪雅、丹棱6县划入乐山专区。辖1市、15县。
1955年，将雷波、马边、峨边3县划归凉山彝族自治州，峨边、马边2县委托乐山专署代管。乐山专区辖1市、12县。
1957年，将屏山县划归宜宾专区。乐山专区辖1市、11县。
1958年，原属内江专区的仁寿县划入乐山专区。辖1市、12县。
1959年，撤销青神、彭山并入眉山县，撤销丹棱并入洪雅县。
1962年，恢复彭山、青神、丹棱3县。乐山专区辖1市12县。
1964年，五通桥市改为五通桥区，直隶于乐山专区。
1968年，改乐山专区为乐山地区。
1978年，乐山县与五通桥区合并改为乐山市（县级），仍隶属于乐山地区。乐山地区辖乐山市（县级）及夹江、洪雅、丹棱、青神、眉山、彭山、井研、仁寿、犍为、沐川、峨眉等11县。
1979年，由原属峨边县的金口河区析置金口河工农区（县级），乐山地区辖1市、11县、1工农区。
1984年，撤销马边、峨边2县，设立马边彝族自治县和峨边彝族自治县，由凉山彝族自治州划归乐山地区管辖。
1985年，撤销乐山地区和乐山市、金口河工农区，设立地级乐山市和市中区、五通桥区、沙湾区、金口河区。
1997年，眉山、彭山、仁寿、青神、丹棱、洪雅6县划出成立地级眉山市。