蔣介石開始接受軍事教育了，但卻是在中國，而不是在日本。1906年，儘管有段日子他曾抱病在身，但他還是通過競爭激烈的考試，考入了保定軍官學校。
浙江報考者有1000多人，只考中了60人，他是這60人中的一個。但是有兩件事對他不利：他是漢人而非滿族人；另外他留著短髮，在革命前的中國；這可能就會被認為是對帝國傳統的蔑視，招致叛逆的嫌疑‐‐被認為是一種具有危險思想的人物。
學校里的教員大多是日本人。由於他們國家剛剛打敗沙皇軍隊，取得了輝煌的勝利，早些時候還戰勝了中國軍隊，所以他們一個個都顯得趾高氣揚，毫不掩飾對中國人的蔑視。
有一次上衛生課，日本教員拿出一個土塊，將它比作中國，看到學生們一個個臉上都露出迷惑不解的神色，這個教員解釋道：&ldo;中國有四億人，而他手中的那個土塊正好有四億個微生物。&rdo;
看到這，蔣介石胸中陡然升起一股怒火，他不顧軍紀走上前去，把那土塊一下掰成差不多大小的八塊，兩眼怒視著教員問道：&ldo;日本有五千萬人，是否也像五千萬個微生物，寄生在這土塊的八分之一中？&rdo;
教員被問得啞口無言，可不一會兒，他用手指著蔣介石剪去了辮子的頭威脅他說道：&ldo;你是個革命分子！&rdo;據說蔣答道：
&ldo;先回答我說的對不對，請別把問題岔開，&rdo;
在軍校，是不允許學員這麼做的。對蔣介石來說，他是冒了很大的風險的。他可能因此而被軍校趕出來；還有可能被秘密逮捕。
他被召到校長辦公室，算他走運，校長覺得他這麼幹有他自己的理由，只嚴厲訓斥了他一頓，並不深究，這件事就這麼了結了。
這年年終，有一批人數有限的學生被選送到日本去學習軍事，蔣介石是其中之一。他懂得日本語，在選撥中派上了用場。
1907年春，他註冊進入東京振武學堂。
在這段時間，他的同學們覺得他對人雖然彬彬有禮，但很冷淡，他對同學間的友誼並不大在意，常常對別人的友好表示無動於衷，這使他不大受人歡迎，他的同學們認為他傲慢。不過他對一個人是例外的，那就是張群‐‐他是蔣介石當時的同學，並贏得了蔣介石的終生信賴。除了蔣夫人和蔣經國外，張群要算蔣介石最親密的知己了。
當時的學習生活比他所能想像的還要艱苦，甚至超過他在母親寡居時所受的困苦。一日三餐很簡單：每頓一碗米飯，加上幾小片魚和一小盤蘿蔔，他強迫自己把分到的這點東西湊合著吃下，由此他漸漸養成了節儉的習慣並終生如此。
每到漫長的暑假，蔣介石總要千里迢迢趕回家去看望母親（看妻子倒是次要的），不過每次他總要在上海停留去看望那裡的革命者，並幫助他們徵募人員和籌集資金。他這時尚未加入任何革命組織，儘管他的衛生課老師曾對他產生過模糊的懷疑。
後來在東京，陳其美介紹他參加了同盟會。蔣介石第一次參加同盟會的大會時，孫逸仙在會上發表了講話。會後陳其美向孫逸仙引見了蔣介石。
關於這次後來被大書特書的&ldo;歷史性&rdo;會晤，既無文字記載，又無影像有聲資料。按照喜歡臆想的傳記作者所說，這位熱血青年給孫中山留下了極深刻的印象。孫中山對陳其美說：
&ldo;這個人將成為革命的中堅，我們的革命運動正需要這樣的人。
現在回顧一下，這句話的後一部分比前一部分要說得恰當一些，除非孫逸仙是個輕率的人，否則他就不會對陳其美這麼說，因為陳其美那時有理由認為，要是革命確實需要個中堅的話