但是不能因为是疯子的话，岳钟琪就可以坐视不管。他急忙写好奏疏，希望澄清视听，洗刷冤曲。这封奏疏被雍正帝的朱批写得密密麻麻。言下之意不外乎是不相信谣言，并说了许多安抚的话。那疯子也被朝廷以“造谣惑众，诬陷大臣罪”斩首示众。岳钟琪心里的一块石头才算落了地。
雍正六年，靖州秀才曾静，派门人张熙致信岳钟琪，曾静的书信中对雍正帝极尽责骂之词；又以岳飞抗金的事迹激励为作为岳飞后裔的岳钟琪，劝他掉转枪头指向金人的后裔满洲人，为宋、明二朝复仇。岳钟琪假装同意，骗出口供，反过来抓捕二人，引发吕留良案。事后雍正帝褒奖岳钟琪忠心，并由于军事需要，仍旧对他委以重任，加封宁远大将军，少保，但是，在岳钟琪的仕途已经埋下了祸根。
雍正十年；岳钟琪接连受雍正帝的严责，显然已经失宠。军机大臣、内阁大学士鄂尔泰乘机奏本，极力弹劾岳钟琪。
雍正批准了鄂尔泰的弹劾，下谕交部议决。
结果削去了岳钟琪三等公爵和太子太保封衔，降为三等侯，仍护大将军印。时隔不久，雍正帝又下旨诏岳钟琪离疆返京商办军务，由副将军张广泗护宁远大将军印。
雍正十二年十月兵部的判决才下来，判决居然是“斩决”。雍正帝左右权衡，最后，念及其当年进西藏、平青海之功，改“斩决”为“斩监侯”，并处罚银七十万两。
乾隆二年，岳钟琪和傅尔丹同被释放，贬为庶人，回成都老家。
平日里，他一身布衣木履，粗茶淡饭；茶余饭后，喂一喂鸡鸭家禽，或者走出姜园，漫步于乡间田埂，或聚集老农于树下闲话桑麻。晚来掌灯，他这才伏于几案，或挥毫吟写田园诗；或秉烛夜读《楞严佛经》。岳钟琪对佛家教义也渐渐青睐，常常入寺拜佛听法。一天岳钟琪回到金堂县老家，在城南十五里的龙尾寺拜佛，盘桓晚了，便留宿寺中，于是写下了《夜宿龙尾寺》 。
乾隆十五年，西藏珠尔墨特为乱，时年64岁的岳钟琪，奉命再出康定，会同总督策楞，捕获卓呢罗布藏紥什等，叛乱平息。
乾隆十八年，岳钟琪的长子岳濬病逝，岳钟琪心如刀绞，痛不欲生。自己年岁已高，痨肺病也日重一日。
乾隆十九年，岳钟琪病势稍有见好，忽有军情来报，说重庆人陈昆，组织邪教，蛊惑人心，聚众反清，其势甚大，当地官府已无法弹压，请派大军征剿。
岳钟琪不敢贻慢，挣扎着从床上爬起来，披甲胄，跨战马，率领大军赶赴重庆，清剿邪教陈昆。在他的指挥下，清军在大巴山与邪教武装展开了激战。邪教武装毕竟是一帮乌合之众，很快便被剿灭四散。这时，岳钟琪的痨肺病进一步加重，在返回成都途经资州时病情恶化，溘然长逝，享年六十八岁，乾隆帝赐谥“襄勤”。
以上基本属实；岳钟琪的祖上是岳飞；岳飞抗金；金人是满清的老祖宗；所以无论岳钟琪如何战功赫赫；雍正对他既重用又猜忌；许多的满清贵族对他也没有什么好感；除此之外；便是汉族人；对岳钟琪也是颇有微词；岳钟琪无论在当时还是后来所处的位置；都是十分尴尬的。
太后要求乾隆严惩岳钟琪，；乾隆无奈；只得撤去岳钟琪大将军一职；交由法司治罪；而其大将军一职交给副将暂代；因为副将统领无方；红花会不但未能剿灭；却是越剿越多；乾隆一怒之下；斩杀数名将官；又得知是福伦把岳钟琪的折子交给了皇太后；于是把福伦叫到御书房里训斥一顿之后；不再召见。
福伦失宠之后；忐忑不安；每天回家之后；长吁短叹；不提。
话说这一天夜里；福伦一个人又在后花园里喝闷酒；已有几分醉意；忽然福晋来到；劝道：老爷又在喝闷酒了这样会伤身体的。
福伦苦笑道：喝醉了；