朱棣給了解縉幾分顏色，解縉就準備開染坊了，還忘了向朱棣要經營許可證。
這件事情發生後，解縉就在朱棣的心中被戴上了一頂帽子‐‐干涉家庭內政。你解縉是什麼東西？第一家庭的內部事務什麼時候輪到你來管？
此後解縉的地位一落千丈，漸漸失去了朱棣的信任，加上他反對朱棣出兵討伐安南（今越南，後面我們會詳細介紹此事），使得朱棣更加討厭他。於是，這位當年的第一寵臣，永樂大典、太祖實錄的主編在朱棣的眼中變成了一個多餘的人，他做的每一件事都得不到朱棣的讚許，取而代之的是不斷的斥責和批評。
朱棣討厭他，不希望再看到這個人，只想讓他走遠一點，越遠越好。但他並沒有急於動手，因為他還需要解縉為他做一件大事。
這件大事就是永樂大典的編纂工作，如果此時把解縉趕走，大典的完成必然會受到影響，想到這裡，朱棣把一口惡氣暫時壓在了肚子裡。
可嘆的是，解縉對此一無所知，他還沉浸在天子第一寵臣的美夢中，仍舊我行我素。朱棣終於無法繼續忍耐了，解縉實在過於囂張、不知進退了，於是，在永樂五年（1407）二月，忍無可忍的朱棣終於把還在編書的解縉趕出了朝廷，遠遠的打發到了廣西當參議。
這對於解縉來說是一個晴天霹靂，好端端的書不能編了，翰林學士、內閣成員也幹不成了，居然要打起背包去落後地區搞扶貧（當時廣西比較荒涼），第一大臣的美夢只做了四年多，就要破滅了嗎？
解縉並沒有抗旨（也不敢），老老實實的去了廣西，此時的解縉心中充滿了茫然和失落，但他沒有絕望，因為類似的情況他之前已經遇到過一次，他相信機會還會來臨的，上天是不會拋棄他的。
畢竟自己還只有三十六歲，朝廷還會起用我的。
然而他等了四年，等到的只是到化州督餉的工作，督餉就督餉吧，平平安安過日子不就得了，可解縉偏偏就要搞出點事來，這一搞就把自己給搞到牢里去了。
事情是這樣的，永樂九年（1411），解縉獲得了一個難得的機會，進京匯報督餉情況，一個偏遠地區的官員能夠撈到這麼個進城的機會是很不容易的，按說四處逛逛、買點土特產，回去後吹吹牛也就是了，能鬧出什麼事情呢？
可是大家不要忘了，解縉同志不一樣，他是從城裡出來的，見過大場面，此刻重新見識京城的繁華，引起了他的無限遐思，就開始忘乎所以了。偏巧朱棣此刻正帶著五十萬人在蒙古出差未歸（遠征韃靼），解縉沒事幹，加上他還存有東山再起的幻想，便在沒有請示的情況下，私自去見了太子朱高熾。
真是糊塗啊，朱高熾家是什麼地方？能夠隨便去的麼？
解縉的荒唐行為還不止於此，他私自拜見太子之後，居然不等朱棣回來，也不報告，就這麼走了！解縉真是暈了頭啊。
果然，等到朱棣回來後，朱高煦立刻向朱棣報告了此事，朱棣大為震驚，認定解縉有結交太子，圖謀不軌的形跡，便下令逮捕解縉，就這樣，一代大才子解縉偷雞不著蝕把米，官也做不成了，變成了監獄裡的一名囚犯。
至此，解縉終於斷絕了所有希望，皇帝不信任他，太子幫不了他，這下是徹底完了。
回望自己的一生，少年得志，意氣風發，雖經歷坎坷，卻能夠轉危為安，更上一層樓，百官推崇，萬人敬仰。那是何等的風光，何等的得意！
可是現在呢，除了整日不見光的黑牢、腳上的鐐銬和牢房裡那令人窒息的惡臭，自己已經一無所有。輸了，徹底輸了，但願賭就要服輸。
解縉想不通的是，為什麼最終會失敗？自己並不缺乏政治鬥爭的權謀手段，卻落得這個下場，他百思不得其解。