一方面玄宗认为他举荐自己人做宰相不合适，另一方面玄宗认为他有些恃宠而骄，否则一个边将怎么会参合朝中宰相的任免之事？
也合该皇甫惟明倒霉，他在京城与韦坚相约于城外游玩，恰好被李林甫手下的爪牙吉温看见了，吉温认为这是一个好机会，当即禀报李林甫，李林甫何等样人，政治敏感性极高，他早就发现玄宗对皇甫惟明的恃宠而骄有些不满，当即在朝堂上唆使言官弹劾韦坚与边将私会，欲谋废立之事。
玄宗最在乎他的统治地位，绝不容忍有人背着他谋划废立之事，当几个言官弹劾韦坚与边将私会、欲谋废立之事时，玄宗雷霆震怒，当堂下旨逮捕了韦坚和皇甫惟明，把他们下狱。
当这两人被关进天牢之后，李林甫又让好些依附他的朝中大臣们出来作证，这让玄宗惊疑不定，玄宗开始怀疑韦坚和皇甫惟明两人真有可能做这种事情，毕竟韦坚是刑部尚书，乃朝廷重臣，而皇甫惟明是陇右节度使，是最重要的边关大将之一，陇右距离京师并不远，他们两人联手的话，皇甫惟明的大军如果行军速度快，只需十天半个月就可以杀到京师，而内有韦坚里应外合，这事只要策划得当，完全有可能成功。
玄宗虽然怀疑，但却没有确凿的证据，韦坚毕竟是朝廷重臣，皇甫惟明毕竟是边疆大将，在没有确凿证据的情况下，就算是皇帝想要动他们也要顾及朝野舆论。
于是玄宗下旨说韦坚谋求官职地位，存在极大野心，把他贬为缙云太守，又说皇甫惟明挑拨君臣关系，贬其为播川太守。
侯府大堂上，赵子良看完纸条脸色都变了，他知道皇甫惟明危险了，但是他却无能为力。
勃勒罕见赵子良神色有异，于是问道：“侯爷，是不是出事了？”
堂下所有将校都看着赵子良，赵子良叹道：“陇右节度使皇甫惟明将军被贬为播川太守了！”
勃勒罕惊道：“为何会这样？”
赵子良道：“皇甫将军在京期间与刑部尚书韦坚在城外游玩却被李林甫的爪牙看见，李林甫以此为借口诬陷韦坚私会边将，欲谋废立之事，陛下雷霆大怒，开始时把两人抓入了大牢，但却没有证据，因此把二人贬官！”
已经晋升为昭武校尉的赵虎站出来拱手道：“叔父，听闻你在河西之时颇受皇甫将军照顾和看重，如今皇甫将军有难，叔父你何不上书向陛下求情？以陛下对二叔的恩宠，应该会把皇甫将军官复原职吧？”
“不可，万万不可！”程元振听了大惊失色道。他毕竟长期待在宫中，对政治斗争颇为熟悉，也很敏感，而且赵子良与他相处得不错，他不忍赵子良被拖入这件事情之中，涉及到皇位的问题，皇帝才不管是你谁，就算是亲生父亲也可以杀，更别说是一个边将。
堂下有将领问道：“程公公，为何不可？”
程元振道：“侯爷既然不是朝中任何一方势力的人，在这种事情面前最好不要参合进去，而且现在插手已经太晚了，如果侯爷尚书替皇甫将军求情，不但救不了皇甫将军，还可能会让他死得更快，而且只怕连侯爷也会被有心人故意牵扯进去啊！”
听了程元振这番话，赵虎顿时惊出一声冷汗，连忙对赵子良道：“二叔，儿子愚钝，差点坏了大事，请叔父责罚！”
赵子良对于赵虎敢于认错的态度很满意，抬了抬手道：“算了，你还年轻，这件事情就当给你一个教训，日后一定要注意，要多听多看多想，不要轻易发表意见！”
“是，叔父！”
尽管一直找不到韦坚与皇甫惟明欲谋废立的证据，玄宗始终患得患失，实在不放心，再加上李林甫整日里在他耳边进谗言，玄宗最终还是忍不住下旨赐死了皇甫惟明。
才过了半个月，就从长安传来消息，皇甫惟明在播