司正风肃纪的御史大夫显然不合适。玄宗否决了张说提议，让崔日知出任左羽林大将军，由崔隐甫担任御史大夫。
张说作为宰相，不是出于公心为国家举荐英才，反而利用职务之便搞团团伙伙，让得知实情的崔隐甫对他产生了很深成见。
除了私心重，张说还急功近利，有点贪财，而且自视很高。官员向他汇报工作，只要稍有不如意，就会遭到他的指责，甚至张口就骂，一点面子不给。
特别是对因提出开展全国户口、农田大普查，而受到宠信的御史中丞宇文融更为反感。就是由于宇文融的一味苛察，才惹得兰池州胡人康待宾造反，让无数唐军将士浴血沙场。因此，只要是宇文融所奏事务，他不问对错与否，一律驳回。
张九龄提醒他：“宇文融现在正受皇上信任，且口才极好，又深谙权谋，您对他还是多加些防范，不要总是得罪。”
张说面露不屑之色：“就他，一个鼠辈而已，能有什么作为！”
可是张说哪里知道，崔隐甫他们正在暗中收集他的罪证。
他本来自身就不太过硬，有不少把柄可寻，还轻视他人，自作聪明，过于高调，到处树敌，终于迎来了报复！
四月份，崔隐甫、宇文融，以及新继任的御史中丞李林甫联名弹劾张说，称他：“擅自与术士交往占卜问卦，徇私舞弊，僭越礼数，贪污受贿。”
这些罪行明摆着就是奔着弄死张说去的，特别是与术士交往占卜、僭越礼数二罪尤为严重，哪一条坐实了都是轻则流放、重则抄家灭族的大罪。
玄宗对此很重视，专门降下敕书，指派宰相源乾曜、刑部尚书韦抗、大理少卿明珪与崔隐甫等人，共同在御史台审讯张说。
关于一代奸相李林甫的故事后面还要讲，现在我们只须知道他是李唐宗室出身，其曾祖是唐高祖李渊的堂弟、开国名将李叔良。
张说因罪待审，显然已不适合再继续担任宰相。玄宗把以清俭着称，没什么大本事的户部侍郎李元纮提拔为宰相，接替了张说。
源乾曜因封禅一事对张说有了看法，又因张说在任时处处打压他，审讯起来自然丝毫不讲同僚情谊，把小事说成大事，把大事弄的更大，给张说身上安了不少罪名。
眼看就要定罪了，玄宗忽然想起了张说。毕竟君臣一场，张说又曾帮他解决了不少棘手难题，在平定边疆叛乱、裁撤二十万边军、开创募兵制这些利国利民的大事上做出过突出贡献。特别是组织封禅大典，让他得以效仿祖父李治，使大唐声威响彻四方。
这样的治世能臣怎不令他怀念，加上他一向很念旧情，便指派高力士前往狱中探望。
高力士虽是宦官，对玄宗却是发自内心的忠诚。他分得清忠与奸，辩得出善与恶，也清楚谁对大唐、对玄宗有用。张说的遭遇让他深感同情，回来后如实对玄宗禀报：“我看见张宰相蓬头垢面，凄凄惶惶躺在一块破烂席子上，等待治罪。”
玄宗想起张说所立功勋，不禁心生怜悯。高力士也借机劝玄宗网开一面，玄宗随即下令停止审讯，只免去张说的宰相职务，其余官职待遇不变。
张说的幸运在于他身处治世，又遇到了玄宗这样的英明君主，如果换到武周末期，或是中宗李显、睿宗李旦在位，等待他的恐怕除了身首异处，就是流放千里了！
他于开元十一年（723年）正月二度拜相，开元十四年（726年）四月罢相，在宰相岗位上兢兢业业干了三年零三个月，论起能力与政绩不输于他的两个前任姚崇、宋璟，但却没能像二人那样入选大唐“四大贤相”之列，恐怕与其品行操守不无关联。
不管怎样，盛世能臣的称号张说是担的起的！玄宗时期的宰相，在他之后除了张九龄名气大些，再也挑不出让玄宗