鹰犬的拿破仑对富歇的众多耳目也不得不提防。对于富歇来说，搞秘密活动是他生命的组成部分，如同呼吸一般必要。
这个在工作中毫无情感可言的人，在另一方面却是个忠实的丈夫和慈祥的父亲。和他的大多数同僚不一样，富歇很少允许公事打扰他位于巴黎的奢侈而宁静的家庭。只有最亲密和特殊的朋友才有幸被他邀请晚上到家里去做客。和其他自命不凡的高级官员不同，他很少携妻儿出入社交场合。他的妻子很少在上流社会的沙龙露面。这并不是因为他的妻子害羞，事实上他的妻子并不是一个心肠很软的妇人，她对她丈夫的血腥事业并没有丝毫的反感或忌讳，相反，她在各方面都和她丈夫有着一致的看法。
和当时所有的法国高级官员不同的是，富歇不仅是个骄傲的父亲和丈夫，而且是个心满意足于一夫一妻生活、从不在外面拈花惹草的男人。“我惟一的希望是使我妻子和孩子生活愉快。”他坚持这样认为。
“跟我学吧！”他这样劝告他的老朋友拉乌尔·加亚尔，“对你的妻子口授你要写的信件——能够亲吻你自己的‘秘书’是件多么快乐的事啊！”
的确，和家人在一起是他最快乐的时光。在家中，他和他的4个孩子嬉戏玩耍。在当时的法国，家中来客人时，一般来说孩子是要回避的，可是在富歇的家里则不然。他让孩子在客人中间来回奔跑、开怀嬉闹，常使初来乍到的朋友暗暗吃惊，而富歇则感到其乐无穷。“也许你们听到有人说我把孩子溺爱坏了，但他们是可爱的，是我生活中的最大快乐。”他这样承认道。
第十七章 富歇其人（2）
维克托里娜·德·沙特奈夫人是常常光顾富歇家的贵族妇人之一。她对这位警务大臣并不是没有看法，但并不妨碍她的造访。她从内心感到富歇的自负中有某种“骗子”的成分，他总是冷漠地将自己“凌驾于所有人之上……仿佛只有他才是法国的主宰”。富歇总是以傲慢态度让他的朋友感到能从他那里打听到一些当今事件的信息是他对他们的信任，而过后才知道富歇并没有对他们透露任何重要的事情。
富歇吸引女性崇拜者（和塔列朗一样，他的大部分崇拜者是女性）的一个原因毫无疑问是他对他妻子的忠实，特别是在当时那个年代，有地位的人拥有情妇是件司空见惯的事（连伟大的民族英雄拉法耶特也是以征服女性著称的）。此外就是他对孩子的挚爱，他在孩子身上倾注了他本人从来没有从自己父母那里得到过的感情。富歇夫人对丈夫的忠贞也给沙特奈夫人留下了同样深刻的印象。
富歇绝不能容忍放纵的女人，他劝告他的妹妹对他的侄女要严加管束：“要让她们在公共场合行为举止得体。要让她们认识到女人在社会上的地位是由她自己的坚定原则、精神和道德价值确立的。”和拿破仑一样，他对法国日益放纵的社会现象很是反感。所以，警务大臣、后来被封为“奥特兰托公爵”的富歇很少让他的妻子在公共场合露面，即使是拿破仑坚持邀请也不例外。
尽管约瑟芬由于放纵在社会上声名狼藉，富歇却真诚地喜欢她而且常常能从她那里获得情报信息，包括拿破仑从埃及给她写的私信。当然，富歇为此也是出手大方。约瑟芬这种给警察当内线的行为并不光彩，但富歇却真诚地赞美她的风度、温柔和慷慨，他甚至给自己的一个女儿起了约瑟芬的名字。富歇从来不邀请拿破仑的高级官员到自己家里去做客，他们也无意到他家去；但约瑟芬和少数几个拿破仑的人，却有幸偶尔被邀请去做客。也许在他家出现的最令人吃惊的客人是巴黎的大主教贝卢瓦，他完全不在意自己拜访的是法国昔日牧师的屠杀者和教堂的亵渎者。
虽然沙特奈夫人可以在富歇身上找到某种值得她赞美之处，但在他的同事，包括塔列朗眼里却不然。塔列朗对富歇的看法是：