堂侄武懿宗去审，几次大刑，张说依然死不改口。
宰相朱敬则看不下去，上疏申明：“元忠素来忠直，张说无辜坐罪，如果判决他们，会让天下人失望。”
曾劝谏武则天禅位的苏安恒再次上疏，认为：“陛下即位之初，是乐于接受谏言的英主；老了以后，却成了喜听奉承的昏君。”
“自从元忠下狱，民情汹汹不可抑制，都认为陛下信任奸佞，逐退忠良。如今赋税繁重，百姓凋敝，加之小人当道，刑赏不公。臣怕人心不安横生灾祸，倘若激起兵变，陛下如何平息。”
这封奏疏到了张易之手里，他恼怒之下想要处死胡说八道的苏安恒，幸有宰相朱敬则、桓彦范、魏知古等人力保，才得以免罪。
武则天深知众怒难犯，几经考虑，把魏元忠贬为高要尉（高要，今广东肇庆，唐时属岭南），高戬、张说流放岭南。
魏元忠向武则天辞行，诚恳的说：“臣年纪大了，这次前往岭南恐怕有去无回，陛下定有思念臣子之时。”说完，指着张氏兄弟说：“这两个小子，一定会为您招来祸端。”
魏元忠不仅勤于政务，而且身为宰相，多次统兵与突厥、吐蕃作战，替武则天处理了大量烦心事。武则天猛然间良心发现，但作为九五至尊，又怎能朝令夕改，于是略显沉重的向魏元忠挥了挥手：“元忠，你去吧！”
魏元忠得以保全性命，朝中正义之士固然功不可没，但从中也可看出，女皇对朝政的把控已大不如前，宰相府权力在几经她的打压后又重新抬头。