即使蔣長期不在職，孫中山仍十分信任他。1920年11月底，蔣終於返回廣州，發現給他的職位是重建的軍政府內政部部長，而這並不合他的胃口。
另一方面陳炯明已開始建立自己的勢力，他的職務頭銜甚至超過了孫中山：陸軍部長、廣東都督、粵軍總司令、兩廣最高檢察長。
1921年1月12日，在廣州召開國會議員大會，進行投票選舉。儘管代表不足法定人數，孫中山作為&ldo;革命之父&rdo;已數次成為正義力量的領袖。這一次，孫中山希望通過法律程序成為當然的領袖。4月，國會議員選舉孫中山為全國非常大總統。5月5日，孫正式宣誓就職。
儘管許多傳記渲染孫中山和蔣介石的親密關係，但有一點很明顯，孫中山從來就未認真考慮蔣介石的建議，也未將他當作自己的知心朋友。蔣介石再三勸告孫中山不要搞這個選舉，因為這種選舉未達法定人數，缺少法律效力；而且一旦南方聯合瓦解，不再效忠政府，這種選舉便毫無意義。蔣介石爭論說，任何不同意見都應被考慮。
蔣介石最後這次負氣離職，時間近三個月。他不斷受到各個方面的壓力，要求他回廣州。為孫中山效勞。他最後竟失去耐心，將國民黨的說客給打發走了。1921年1月5日，蔣就他的行為寫信表示道歉：&ldo;我脾氣暴躁，行為魯莽，……事後反省，深感慚愧，意識到自己太可笑了。&rdo;
孫表示原諒他的行為，但也說：
&ldo;我兄‐‐你過於固執己見，實為不可救藥。任何小事於你不滿，你都火冒三丈。&rdo;
蔣介石自己回憶說，在讀了來訪者帶來的信後，他感動得幾乎流淚，他決定返回廣州。
陳炯明在擊敗他的對手桂系軍閥後，手下已有幾個師組成的龐大隊伍，這時，他準備在中國南方建立自己的封建割據勢力。因此，他對孫中山的繼續西伐桂系的命令拖延不理，更不用說蔣介行的任何建議了。
1921年2月在在廣州，蔣介石已察覺出陳炯明的野心，但孫中山還不相信。
蔣之所以仍然回到廣州，一方面是由於孫中山再三催促，另一方面是他一直渴望有機會徹底剷除廣西的殘餘桂軍。此時，這位內政部長最愁的是缺乏經費，因此暫時還顧不上向陳炯明挑戰。蔣介石認為，徵收關稅是籌集資金的最佳辦法，但問題是在北京的外國使館和公館不承認廣東軍政府，拒絕與之合作，而陳炯明也支持外國使館的態度。正是這個原因，促使孫中山進行選舉，以當選非常大總統。因為這樣一來，就使得他和北洋政府的首腦一樣，具有平等的法律地位。
1921年5月，蔣介石寫信給孫中山，表示完全反對這個選舉計劃。他認為：廣西的軍閥還未徹底清除，西南部也還未得到控制，此刻沒有時間進行選舉。更何況，選舉因議員不夠法定人數而缺乏法律依據，他寫到：&ldo;在平息廣西的叛亂後，我們可望繼續向東北進軍、直搗敵人的心臟&rdo;。他還充滿信心的寫道：&ldo;統一全中國並非一個非常艱苦的任務&rdo;。在信的最後，他再次提醒孫中山不要輕信陳炯明。
孫中山並未重視蔣介石的這封信。蔣介石沒有參加廣西戰役，6月14日他母親去世，他立即趕了回去，一直呆到11月他母親安葬完畢。這期間，他除了幾次返回廣東外，大部分時間都在溪口，孫中山未出席葬禮，但他為蔣太夫人寫了一篇感人的悼文，並在葬禮上由人代讀。
正如蔣所判斷的那樣，陳炯明開始背叛革命。1922年3月21日，粵軍高級軍官、蔣介石的朋友鄧鏗被暗殺。陳炯明涉嫌很深，但沒有確鑿的證據可以指控他。陳炯明有很大的可能暗殺鄧鏗，