了他的请求，回到了拿破仑的身边。这是他一生所犯下的最大的错误。得胜的拿破仑邀请他和他们全家一起共进晚餐，他已经很久没有这样做了。
于是布列纳的如牛负重的生活又开始了，他“发自内心地后悔”自己真不该吃回头草。他后来才知道，拿破仑是找他回来接着工作直到找到合适的接替人选。没有任何人可以随便离开拿破仑扬长而去的。拿破仑最后物色到了梅内瓦尔。“他是一个出身很好的年轻人，工作努力，处世温和且言行谨慎。”布列纳这样评论道。拿破仑找到梅内瓦尔之后就赶走了布列纳。“他绝不会忘记他曾经胆敢离开我……我在等待着君子复仇的一天。”但是，背离拿破仑而去的人是从来无法轻易脱身的。他现在就在煽动布列纳身后的邪恶谣言，有人指控布列纳挪用了政府的资金用于股票交易所——布列纳投资股票交易所是事实，但说他动用政府的钱则完全是捏造。
1803年4月20日，布列纳被突然召进圣克鲁宫，迪洛克被迫指控布列纳盗窃政府资金，从海军金库挪用10万法郎！布列纳先是大吃一惊，然后怒火中烧，给拿破仑写了一张条子要求立即见他。迪洛克拿着条子离开了，过了不久他回来了。
布列纳：“怎么样？”
迪洛克：“冷静点儿。他要我告诉你这是一个错误。有人在他面前诬告了你。事情过去了——别再为这事烦恼了。”
事实上，布列纳在经济上是清白的，从来没有动用过政府或国库一分钱。而且，他有权动用的也只有他办公室里的那个拿破仑的钱柜。拿破仑自己也清楚，布列纳是一个诚实的人。但是，更糟的是，布列纳被指控和贝尔蒂埃、约瑟夫·波拿巴以及其他人一起利用职权操纵证券市场。事实上，布列纳对这种复杂的经济行为毫无兴趣；他的问题充其量不过是由于缺乏经验和指点，他的投资往往是不明智的。
拿破仑在有些时候是非常健忘的，他忘记了他的这个朋友在自己尚是一个年轻的贫穷军官的那几个月里曾经给了他多少无私的帮助。
他仍然没有放过布列纳。拿破仑派人到他送给布列纳的在鲁埃尔的宅子里，将原来送给布列纳的所有家具全部搬走，布列纳夫人只能伤心流泪，拿破仑也没有信守给他的前任秘书找一份工作的诺言，布列纳只有携妻离开法国，最后在德意志安家。没有拿破仑这个靠山，他是找不到工作的，因为人人都要看这个伟人的眼色行事；而没有工作，布列纳既不能偿还债务也不能给家庭提供衣食温饱。拿破仑继续对布列纳施加压力，直到多年以后，他才被任命为法国公使。居住在多雾而阴冷的德意志北方城市汉堡，布列纳健康恶化，一贫如洗，十分潦倒。
具有讽刺意味的是拿破仑给布列纳委任的这个差使，因为在1800年第一执政从自由帝国城汉堡强征了400万法郎，理由是英国人在这里逮捕了两名持有法国护照的爱尔兰奸细。汉堡出于害怕法国的军事报复支付了这笔钱，但是这笔款子没有到达法国国库。拿破仑将这笔钱全部私吞了，用来为约瑟芬还债和他的家人私分——而这个人却称布列纳是贼！
拿破仑一生的事业中，还残酷地虐待了其他几个不幸的牺牲者和他们的家人。包括前海军部长皮埃尔·富法特，他不断地给他降级；他的科西嘉政治宿敌和以前家中的客人，普佐·迪博格，被不断地调换职务，最后任命他为驻沙皇亚历山大治下的俄国的大使（这是一个不会受到拿破仑威胁的差使）。拿破仑对荷兰的蹂躏也从另一个侧面体现了他的乖僻性格。多年后，他的第一侍从康斯坦由于拒绝抛妻别子随拿破仑背井离乡而遭到他的报复也是一例。皇帝在公开场合也是将他称为“贼”，而“赃款”的数额也和布列纳的不谋而合，而最典型的还是他对伊丽莎白·帕特森的仇视。
拿破仑19岁的弟弟