大怒，道：“杨素殚民力为离宫，为吾结怨天下”。就召杨素问对。但杨素事先做好了独孤皇后的工作，独孤皇后就在旁边替杨素帮腔。结果杨坚听了枕头风，不但没有惩罚杨素，反而加以恩赏，从此对他更为信任。至于高颎反而逐渐受到疏远。
之后因为废太子杨勇和晋王杨广的储位之争，杨坚更直接将高颎贬为庶人。杨素由此而得独相。没有了制肘，他更加肆无忌惮地提拔私人安置在朝廷的各个紧要位置，几乎是只手遮天。试想，假如没有杨坚当日的放任，杨素的野心又何至于不断膨胀，终于演变成今日这种最恶劣的结果？
然而道理归道理，有些时候有些事情，却是大家都心知肚明，却又谁也不能说的。裴矩和杨昭今日才是第一次见面，虽然彼此都客气，但还远不到可以推心置腹的地步。如果二人都是平头小老百姓，那么酒酣耳热之际，非议几句今上，扯淡几句国家大事什么的，倒也无所谓。但眼下一位是世家子弟，名门望族出身的内史侍郎；另一位则是龙子凤孙，绝对根正苗红的太子嫡子河南王。裴矩宦海沉浮多年，言谈之间，却实在不该如此没有分寸才对。
弹指之间，小王爷心中早转过许多个念头，设想了十七八种可能性。因震惊而悬在半空的手腕徐徐放下。他收起面上笑容，道：“所谓子不闻父过，更何况当今天子，就是本王祖父。听了裴大人这句说话，我本来该掩耳而走才对。”
裴矩微笑道：“但，殿下此刻却并未有起身离开，反而继续端坐与下官说话。这说明殿下亦知道下官说得没有错，对么？”
杨昭微微一笑，不答此句，却转过话题，道：“裴大人似乎对当今朝廷颇有不满。然而人非圣贤，谁能无过？过去几年，我皇祖父因受杨素蒙蔽，确实令许多人受了冤屈。但如今杨素已经事败，近日来皇祖父便会将其党羽一一铲除，拨乱反正，再振朝廷纲纪法度，如此，也足以将功补过了。”
裴矩摇头道：“大隋朝开国这二十年来，行政上虽然亦颇有可观，但在用人方面，始终难脱古来滥觞，只不过因天子之爱恶而随心所欲罢了。只要被陛下看得入眼，即使有天大的过错，也能免罪脱身。但若陛下看不入眼，哪怕贤如高仆射，亦不免要遭黯然谪拙。如此这般，今日去一杨素，明日又上来一个李素、柳素，那么又有什么分别？”
杨昭叹口气，道：“皇祖父年纪已然高迈，这却也难免。但他日我父王登基，相信事情当能有所改善。”
裴矩亦叹道：“殿下还是不明白。这根本不是谁人做皇帝的问题，而是制度的问题。古往今来，无数王朝相继兴灭，就是因为以人治国，虽有小利，弊端却更多。纵有圣明天子在位，使佞幸暂且不能为害，但却难以保证日后代代天子皆圣明。故此长此以往下去，久后庙堂之上必然小人当道。而到了这个地步，亦就国将不国，离灭亡不远了。”
裴矩的话说到底，就是“人治”与“法治”之争。而即使到了后世的现代社会，社会上始终仍是“人治”大于“法治”，像杨素这种人虽然在中枢已经逐渐少见，但在地方上却反而更加猖獗起来，虽屡经打击而不止。所以裴矩这番话虽然有些虚，但杨昭也颇有同感。他点点头，道：“假若朝廷建立一套选拔机制，任用人才首先注重德行，规定有才无德者不得出仕，裴大人以为如何？”
裴矩冷笑道：“殿下所说，乃是儒家的陈腔滥调而已。自汉武帝独尊儒学以来，政治权力的纷争、魏晋的兴亡递嬗，事实上是儒家豪族与非儒家寒门的胜败问题。儒家豪族遵行君臣、父子之道，其学为儒家之学，其行必须符合儒家的道德标准，所谓孝友礼法。而修身治家的道德方法，亦适用于治国平天下。名教之大者莫若君臣，孝于亲才能终于君。当这种看法被采用于人材的甄选上，便成征辟制度，能否入仕，全看豪族依