元朝的疆域是历朝历代中最为广阔的，因此在地方行政管理上，也最为粗犷。这种粗犷集中的表现就是行省的设置。金朝也有行尚书省的设置，但一来不是全局性的，二来也是临时措施。元朝继承了这个体制，并将之固定化。在蒙古草原之外的统治区域，除大都周围的“腹里”外，元朝设置了十个行省。所谓的行省，就是“行中书省”，属于中央政府中书省在地方的派出机构。本来，“省”的称谓是宫禁的意思，当年设置三省，本是君权集中的体现，但是隋唐以后，省的设置逐渐脱离了原本宫廷附属机关的本义，变成纯粹的行政机构。到了金元，又进一步演变成了地方建制的代称。
行中书省是地方最高行政机构。人员参照中书省，设置丞相、平章政事、左右丞和参知政事。他们在名义上属于中央官，但对于地方所有政务都可以管理。行省一级，还设有几个平行机关，有行御史台、宣慰使司、肃政廉访使司（管刑狱和监察）、儒学提举司（管学校和祭祀）、都转运盐使司（专管盐课）。其中，宣慰使司也是省一级大行政区的行政机构，职权几乎跟行省一样，却受行省管辖。自从行省成为一级地方区划以后，“省”这个概念就由原来的中央属性，变为具有地方意义的单位。这个无论如何都过于庞大的地方建制单位，后来被明清两代继承下来，延续至今，使中国拥有世界上最大的地方行政单位。行省的划分，当初只是一种跑马圈地的感觉，简单地将地方分成大块，并没有考虑区域内经济文化的关联性，比如将经济文化联系密切的长江三角洲一分为二，江南为江浙行省，江北为河南江北行省。将长江中游联系密切的两湖（洞庭湖、鄱阳湖）流域分属两省，湖广与江西，而将珠江三角洲归属江西。这为后世经济文化的发展，留下了巨大的隐患。
行省之下基本上沿袭金制，设置路、府州和县三级行政区划。路设总管，府设府尹，州设州尹，县设县尹。不过，三级政府在最高长官之上均设达鲁花赤，蒙古语“镇守者”的音译，一般由蒙古人担任，具有最后的裁决权。实际上，达鲁花赤是作为地方官的监视者出现的，什么事情都不做，但什么都可以管。元代有直辖于省的府州、直属于路的县，也有不设路的府，还有属于府、州的县，有的府、州只有一县，也有不设县的州，有的县在此处却属于其他州管辖。总之，元代不仅行政区划的层级混乱，而且统辖不一，是厉代最混乱的地方行政体制。
这种混乱部分来源于草原帝国的领主式地方管理形式。在成吉思汗统一蒙古草原之后，实行各个层次的那颜（贵族）类似分封形式的管理方式，每个那颜都有自己的领地，负责领地的全部事务，对于所管辖的百姓有生杀予夺之权。在进行广泛的征服以后，对于新占领的土地，只要满足蒙古统治者“六事”，即“人觐、纳质、献户口、助军、纳贡赋、置达鲁花赤”，往往听任地方上有力者割据。就是说，如果有能力控制一方的人，只要能亲自到大汗所在地朝觐，以子弟为人质，上报所辖地的人口数，为蒙古军出兵助战，交纳赋税和接受蒙古人派的监视自己的达鲁花赤，就可以获得类似于西周时期诸侯一样的地位和权力。无论这些有力者是原来的地方官、守军将领，还是土匪恶棍。这些“诸侯”所控制的地方往往大小不一，犬牙交错，甚至据守此地者，在彼处有块飞地。这种情况虽然在忽必烈称帝后，经过整顿有了改观，但并没有彻底解决。因为在整个汉人区域，除了原有的割据痕迹外，还充斥了蒙古贵族的封地，这些贵族以“投下主”的形式占据领地，实际上将地方官视为他们的办事人员，无论怎样整顿地方，都必须迁就他们的利益。所以，元朝的地方区划，就形成了这样混乱的局面。
