远古时期，距今五、六千年前，这里就散布着众多的原始村落。居住在济宁的“有仍氏”已进入父系氏族公社时期。夏朝时，济宁城区一带称为“任国”，(即仍国，古代仍、任两字同音)一直延续到商周两代。秦统一中国后，废封建置郡县，改称为任城县。五代时期称济州。北宋时期称济州济阳郡。到元八年(1271年)升济州为济宁府，这是济宁之名最早出现的年代。

　　济宁地名的由来，据传因任城一带地势较高，可免水灾，能保安宁，故为济宁。明朝时先为济宁府，后属兖州府，清朝时为济宁直隶州。辛亥革命后，废州府设道，先后为岱南道、济宁道。国民党统治时期曾属鲁西行政公署第一、二督察区。日伪时期属鲁西道，后改兖济道。抗日战争胜利后的国民党统计时期(1945年8月一1946年1月，1946年9月一1948年7月)，济宁称为济宁县，属山东省第二区行政督察专员公署。1946年1月9日，解放军第一次解放济宁

，当时以城区及近郊划为济宁市，属冀鲁豫七专区，3月29日升为地级市，直属冀鲁豫行署，同年9月，国民党军队占领济宁。1948年7月14日济宁重获解放后，将原济宁城区及近郊复称济宁市。初属冀鲁豫行署，同年8月划归山东省，属鲁中南行署。

　　建国以来，济宁的行政区划有多次较大的变动。1949年分属于鲁中南行署的尼山、台枣两个专区。1950年行署撤销后，尼山、台枣两专区合并为滕县专区，辖十六个县市。1953年滕县专区与湖西专区合并，改为济宁专区，辖十四个县市。1958年曾与菏泽合并，辖十七个县市。1959年济宁、菏泽两个专区又在原来的基础上分开，辖八县一市。1961年峄县改为枣庄市，归省直属。1978年又将滕县划归枣庄市。1978年底济宁地区辖十县一市。1983年10月，济宁改为省辖地级市，辖九县两区。1986年曲阜县撤县设市。1989年12月梁山县划归济宁市。1992年兖州县、邹县分别撤县设市。1993年12月市郊区改名为任城区。

　　现济宁市辖二区三市七县，即市中区、任城区、曲阜市、兖州市、邹城市、微山县、鱼台县、金乡县、嘉祥县、汶上县、泗水县、梁山县；有街办22个，乡镇94个，乡39个；村（居）委会6556个，其中村委会6290个、居委会266个。