事實上，1926年8月20日，在北伐開始的時候，他發表過一項宣言，表示只要外國人不妨礙北伐運動和國民革命軍的行動，不管他們的國籍如何，對他們的財產將給予保護。
雖然蔣的部隊在攻下漢口數月之後於1月3日發生了嚴重的反英事件，但在一般情況下，國民革命軍在許多城市執行了這一命令。
當第6軍的部隊3月24日進入南京時，對外國的機構進行了攻擊和掠奪，蔣對此很惱火。在這些機構中，有商業公司，羅馬天主教會，還有英、美、日的領事館等，大約有12個外國人喪生。
為了躲避士兵，也為了躲避外國艦艇報復的炮火，百姓們紛紛躲到城牆腳下。
蔣來到現場，對第6軍的第3師採取了無情的行動，繳了他們的誡，並處決了30一40人。
後來據說共產黨的政治委員插手了這一事件，（蔣寫道）&ldo;他們希望挑動外國勢力和革命軍發生直接的衝突&rdo;。但正象吉勒麥茲所指出的那樣，很難看出對外國租界的掠奪會給共產黨帶來什麼好處，那很可能只是一次軍隊違紀事件。
很快，蔣在上海陷入了更嚴重的麻煩之中，在周恩來等人組織的80萬工人罷工配合下，國民軍1927年3月22日攻占了上海。
共產黨武裝了工人糾察隊，接著便發生了殘酷的巷戰。在此過程中，約有200名工人被打死，1000名工人被打傷。隨後，他們建立了臨時市政府，使局勢有利於自己。
蔣在南昌的司令部里，注視著這些事情，心裡憋著一股怒火。開始是左派在武漢建立政府，對他在國民黨中的權威表示蔑視；現在，共產黨又奪取了上海。
他發表講話，但不起作用。他時而調和，時而挑釁，在3月10日的一篇講話中，二者兼而有之。他說：
他沒有打算不與共產黨合作，而且還主張把他們拉進國民黨。但是，共產黨現在已達到力量和聲望的頂點，如果他們對自己的行為不加控制的話，他們將給國民黨帶來災難。他說他不反共，他感激共產黨的支持和同情，但共產黨不能在國民黨內謀求優勢，壓制國民黨中的溫和派。
武漢政府沒有理睬蔣的指責。中央執行委員會撤消了蔣作為政治委員的職務，使其總司令之權隸屬於新的軍事委員會。
他在國民黨中的所有重要職務，都轉給了他的對手汪精衛。那時，汪正在從法國返回的途中。該委員會還通過發表公告對他進行譴責。指責他是專制者和獨裁者，說他的統治保護&ldo;官僚、商人和其他機會主義者&rdo;。按照蔣的說法，是共產國際勸汪精衛經莫斯科回國的。儘管他們之間發生過一些事情，但蔣明顯對汪的回國仍抱著希望，認為他的老同事會因汪的回國而被重新啟用。汪1927年4月1日回國後的幾天裡，蔣和汪在上海會晤了好幾次。
接下來發生的事情是，根據蔣的建議，一個姓吳的國民黨人參加了&ldo;清黨&rdo;會議的討論，此人是蔣在控制委員會中的忠實信徒。
會議的重點是討論&ldo;清除共產黨&rdo;的問題。當他們幹這件事的時候，一些遠離革命的地主和富人發現他們有救了。吳在會上作了報告，報告中對共產黨和鮑羅廷進行了攻擊。
4月5日，汪同來上海的共產黨領袖陳獨秀發表了一個聯合宣言，重申共產黨接受孫中山的三民主義，並且進行了闢謠。因為有謠言說，共產黨企圖破壞國民軍，並攻擊租界；而國民黨準備解除共產黨工人糾察隊的武裝，並將共產黨開除出黨等。
同日，吳等人決定&ldo;清黨&rdo;，他們建立了一個委員會研究有關方案。6日，北京和上海是多事的一天。在上海的所有武裝集團接到通知，從今以後，他們必須