忘了约瑟夫原来曾当面反对入侵西班牙，而且曾强烈反对拿破仑将他从那不勒斯调任到西班牙，并命令他戴上他并不想要的西班牙王冠；再说，在过去4年中，在西班牙的法军将领全都只听命于拿破仑，而不是有名无实的西班牙国王约瑟夫。
事实上问题是：整个伊比利亚战役如同俄国战役一样并没有计划周全，从一开始就是如此：1808年8月30日，朱诺在蒙德戈湾被英国的阿瑟·韦尔斯利爵士打败，接着苏尔特于1809年5月从葡萄牙被赶走，后来维克多元帅于1809年7月27日至28日在塔拉韦拉又被那个韦尔斯利击败。威斯康特·威灵顿于1810年9月27日在布萨科将马塞纳击败，这些胜利令他声名大噪。1812年也未能使法国的形势有丝毫好转。刚开始是1月19日威灵顿占领了罗德里戈城，接着又攻占了巴达霍斯，7月22日他又在萨拉曼卡同马尔蒙的战斗中获胜并暂时占领了马德里，而苏尔特元帅则迫于西班牙人的压力放弃了卡地兹。事实上，在西班牙的法军将领中惟一取胜的是絮歇元帅，他从西班牙人的手中夺取了巴伦西亚。
最后，在1813年，拿破仑最终意识到自己无法将全欧洲一网打尽，他也奈何不了驻西班牙的40；000英军，特别是他不得不顾虑到那个击败了所有挑战者的无比顽固的威灵顿公爵。
不幸的约瑟夫于1813年3月17日最后一次离开马德里，并在3个月后的6月21日在维多利亚遭到致命的打击，从而结束法军对西班牙半岛的统治并在一夜间损失了250；000名～300；000名法军。
有关撤出西班牙的决定已筹划了很长时间了，部分原因是拿破仑不知该拿约瑟夫如何是好，不知该由谁顶替他或者至少能找个暂时顶替的人选。突然间，拿破仑眼看着他的欧洲——这个由法国统辖的广大的欧洲在一夜间因各地独立而在他眼前变小了，惟一的办法就是让约瑟夫摄政，但现在已不行了——因为玛丽·路易丝和他的儿子，他的继承人罗马王改变了这一局面。
而这又导致了其他的复杂问题。拿破仑想要和自1812年起被软禁于枫丹白露的教皇庇护七世签订一个修正的契约并且主持加冕仪式：一是为了玛丽·路易丝，另外则是为了他的儿子——罗马王。尽管起先教皇迫于压力而屈从，并于1813年1月25日签署了这一契约；但他很快就后悔了，并拒绝服从拿破仑的命令从梵蒂冈搬到巴黎——而过于自信的拿破仑却早已在阿维尼翁为教皇买下了居住地。
3月24日，教皇突然宣布不同意这项新契约。他说，这份文件“令他的精神崩溃”，“在上帝的帮助下我们祈祷它被完全废除”。当然，他也不打算主持为玛丽皇后及其儿子举行的加冕仪式了。这简直是晴天霹雳，狂怒的拿破仑乘车离去，再也不愿见到教皇。直到1814年1月21日教皇才被从法国监狱中被释放出来。
拿破仑决定：无须他的兄弟们甚至无须教皇的支持，他一样可以将继承人的问题处理妥当。他发布了“参议院令”，任命玛丽·路易丝为摄政王，并于1813年3月30日在爱丽舍宫举行了加冕典礼。当拿破仑不在法国期间，玛丽·路易丝将在特别议会的辅佐下统领一切。事实上，帝国宪章第8条禁止女性摄政，拿破仑已经稍稍越权了。至于约瑟夫，在1813年夏他回到法国，接受拿破仑命令与妻子在莫尔丰塔尼隐居——同路易、吕西安以及热罗姆等人一样，约瑟夫也是个窘迫的失败者。
这是拿破仑军事生涯中头一次在打完一场重大战役后回国没有受到热烈的欢迎。相反，当人们看到拿破仑时，眼中闪现着疑惑，他的官员们都不知该说什么或是该做些什么才好。没有人比拿破仑自己更感到沮丧的了，他于元月初接到了他那个总算从文学创作中暂时清醒的、远在格拉茨的