陈其美几乎和蒋志清同时到达日本。陈其美为壮大青帮组织，到日本后有意识地结交人，他又最善交际，很快就结识了许多革命青年，同时也结识了志清。由于蒋、陈两人志气相投，又是同乡，关系很快密切起来。蒋未能进入日本的军校，于1906年冬回国，而陈其美却进入了日本东京的警监学校，并在这年的冬天加入了孙中山的同盟会。以后蒋介石能参加同盟会和与孙中山见面，都是陈引见的。因此，蒋一生视陈为恩人，为良师益友。陈的两个侄儿陈立夫和陈果夫，也被蒋介石拢为亲信，加以重用。
　　 1906年冬蒋志清回国后，正遇上清政府陆军部在保定创立的“通国陆军建学堂”（保定军校前身）在各省招考学生，规定每省考选40人。可是，浙江省的40人名额，有26名已被浙江省武备学堂所保送的学生占去，只剩下14个名额，然而，浙江全省到杭州投考的青年达千余名。志清带病报名参加考试，并被录取。
　　 这所陆军军校是清政府设立的第一所全国性的军官学校。清政府开办这所新式军校，是因为甲午战争败于日本后，才想到要振兴军事，培养建立新式军队的骨干。基于这个目的，清廷每年还向各国选派留学生，志清报考保定军校，是想找机会去日本学军事。
　　 1907年冬天，清政府陆军部公布，从保定军校的学生中选派留日学陆军的学生，但规定必须是该校参加日语班的学生才准予报考。志清并未参加日语班学习，但他向校方打了个报告，说明他曾在日本东京的清华学校学过日语，请求准予他报考留日生。报告虽送上去，却迟迟不见校方批准，志清绝望了。
　　 临考试的头一天深夜，一个灯笼进入蒋志清的寝室，提灯笼的人将他唤醒，通知他明日可以参加留日生的考试。志清喜出望外，当时还以为是在做梦，一捏鼻子，疼着呢，果真是柳暗花明又一村了。第二天志清参加了考试，临放寒假时接到了考取留日生的通知书。蒋志清寒假不回家过年，只写了封信向母亲、亲友道喜、告别，急匆匆地直接从保定启程出国。
　　 1908年春，蒋志清二踏日本国土，进入东京振武学校。
　　 振武学校是清政府为留日军事的中国学生设立的“陆军预备学校”，学习3年后获“士官候补生”身份，到日军中实习一年，实习合格后，才能升入日本士官学校，成为正式的士官生。
　　 蒋志清是振武学校Ⅱ期生，他学的是炮兵专科，黄郛、张群与他同学，后来他们在政治上一直与蒋保持密切关系。中国的两大军阀，盘踞山面的阎锡山和曾一度盘踞浙闽苏皖赣5省的直系军阀孙传芳，都曾毕业于这个预备军校。
　　 一天，一个日本军医官在给学生讲细菌课时，手拿一块泥块打比喻说，这块泥土就能寄生4亿细菌，就像4亿中国人寄生在里面一样。
　　 日本军医官当着中国学生的面，把4亿中国人民比做寄生的细菌，这显然是有意污辱。蒋志清听到这话，气愤地跑上讲台，把泥土掰成8块，指着其中的一块泥土说：“日本有5千万人，也象5千万细菌寄生在这块泥土里！”这一突如其来的反击，使这位日本军医官瞠目结舌，面红耳赤。当军医官看到蒋志清没有辫子时，就咆哮着说：“你，你，你是革命党！”
　　 志清很快找到了陈其美，与他密切地来往，并由陈其美介绍，于当年（1908）加入了孙中山领导的中国同盟会。
　　 同盟会1905年8月20日于东京正式成立。它的成立，是孙中山领导的资产阶级民主革命发展过程中的一个里程碑。同盟会打破了以往以省界组织革命小团体的习惯，成为有明确党纲、党章，有公举领袖的、以资产阶级小资产阶级知识分子为主体的中国第一个革命政党，使资产阶级民主革命有了指导中心，加速了革命的步伐。同盟会成立不久，仅日本东京一地，入盟者就达800多人，不到一年，海外会员迅速发展到一万人以上，会员中学生占了绝大多数，而其中国外留学生的比例最大；在留学生中，又以留日的学生所占的比例最多。
　　 孙中山作为伟大革命先驱者的鲜明标志，就是他超越了他同时代的、风靡全国的改良主义思潮，首先提出武装起义推翻清朝的口号。因此，孙中山十分重视会内军事人才，并且善于组织利用当时民间的一些以“反清复明”为宗旨的秘密会党，如哥老会、三合会等武装力量。孙中山为动武装起义，故对陈其美等军事人才相当器重。陈其美先学警监，后转入东京振武学校学军事。蒋志清在振武学校学习3年，主要作为陈其美手下的亲信，在浙江籍的同盟会员的同学中活动。当时的活动，仅限于在同学中交谈革命形势和理想、阅读革命书籍等。
　　 蒋志清、张群，还有其他要好的同乡中的同盟会员同学，利用星期天，租一间只能在星期天才能使用的、面积只有几张“榻榻米”（约20平方米）大的房子里聚会。那时日本人还不习惯吃猪下水，一头猪的全部内脏，8角钱即可买来。志清他们买来猪下水，自己动手做菜，边吃边高谈阔论，或读革命书籍、报刊。他们除阅读孙中山的文章外，最喜爱邹容的《革命军》，陈天华的《警世钟》、《猛回头》等书籍。这些文章和书籍，促进了他们爱国的民族主义思想之形成。
　　 蒋志清思想的主流是出人头地，因此爱国的民族主义有时就退居次要，因而参加革命活动也不怎么积极，空谈还可以，实行起来就比较难了。1908年8月至10月间，振武学校的学生，为抗议学校当局实行日本政府文部省颁布的“取缔清朝留日学生规则”，发生了集体退学事件。张群参加了退学运动，而蒋志清却不动声色。
　　 当蒋介石后来成为中国的统治者之后，一些御用文人为美化蒋介石，对他在振武学校学习的这段历史，进行杜撰，说1910年5月，蒋介石在振武学校读书的最后一学期时，由陈其美介绍，孙中山单独约见了蒋介石，并进一步捏造，说孙中山“夸奖蒋介石是个很难得的人才”。其实并无此事。同盟会成立以后，革命形势日益高涨，清廷十分惊恐，要求日本政府驱逐孙中山出境。从1907年3月4日起，孙中山就被迫离开日本，到越南河内去设立起义总机关。蒋1908年春到日本，孙中山已不在日本。1910年6月间，孙中山曾化装秘密潜往日本东京，紧张地活动了十来天，主要是会见黄兴、赵声等同盟会的主要领导人，商议建立秘密机关和统一各省革命团体行动的事情，哪里有空闲约见只不过是普通学生盟员的蒋志清。再说蒋志清在当时对革命毫无突出表现，孙中山称赞蒋为“难得人才”一说，更是无从谈起。蒋介石自己也曾说：“我是21岁入党（指入同盟会，直到27岁即1914年），总理才对我单独召见。”
　　 蒋志清在振武学校留学期间，几乎每年暑假都回家省亲。陈其美于1908年就被同盟会派回国，在上海开办天宝栈，作为革命机关的联络站，指导浙、闽、京、津一带的革命活动。蒋志清回国省亲，都要在上海逗留，常住天宝栈。1908年暑期，蒋回上海，陈其美正在准备营救狱中的革命者和青帮的罪犯，他让蒋协助策划劫狱。这次劫狱并没付诸行动，但就在这时，陈其美介绍蒋志清加入了青帮。
　　 在蒋志清临毕业的前几个月，即1910年3月18日，他的长子经国（乳名建丰）诞生于溪口老宅丰镐房。
　　 1910年冬，蒋志清23岁，从振武学校毕业，同年12月5日，他以士官候补生被分配到驻扎在日本北海道新泻县高田镇的野炮兵第13联队实习。蒋志清体检时的身高是169.4公分，体重59.2公斤。
　　 蒋志清在日军中当二等兵，从生活到训练都是很艰苦的。北海道的高田，是日本雪多之最，有时雪能下得把整个城镇覆盖起来，使人看不出城镇在什么地方。分配到这个联队学员的“清国”留学生，大多是中国南方人，见了这样大的雪都十分惊讶。大雪下过之后，军官命令他们上房顶把雪铲下来，否则营房会被压塌。天气寒冷，日本军队又规定，早晨5点钟起床，必须用冷水洗脸。
　　 当时日军伙食甚差，每人每餐规定只许吃一碗米饭，定期还要吃几顿麦子饭。至于菜肴，每餐是三片咸萝卜或是一块咸鱼。只有在星期天才能吃到一点豆腐和青菜。蒋志清吃不饱，只盼望晚上到军营的俱乐部买饼于，可是士兵买饼干又限量，每人只准买三个，饼干质量粗糙，去晚了还买不到，故蒋志清经常挨饿。
　　 日军实行所谓“武士道”，要求下级绝对服从上级。蔡志清是二等兵，上等兵就可以任意使唤他，洗衣服、擦皮靴、补衣服……样样都支使他做。上等兵的上面还有下士、中士、曹长、特甸长，定了才是正式的军官。这么多的上级兵、上级官管着蒋志清，稍有不慎，就会招来粗暴的打骂。
　　 蒋志清在这个联队当了十个月的兵，只不过喂了十个月的马。每天吃完早饭，他就到马厩里去，用禾草把马的每一块肌肉、每一个关节都擦热，要使马浑身的血液流通起来。晚饭前还要给马如此摩擦一次。天气那么寒冷，但是，往往马还未擦热，蒋志清已是全身大汗淋漓。
　　 在日军中的生活和训练再艰苦，“清国”留学生也咬着牙根忍耐，他们天天盼望着能学到真才实学。他们都认为，日本在甲午战争中打败了中国，在日俄战争中打败了俄国，那么日本肯定是个军事强国，在军事训练方面一定有先进的要诀。可惜，日本哪肯教给“清国”留学生什么军事科学技术，连本军事方面的书籍也找不到。总之，日本绝对不想让中国有军事人才。为了找到日军强盛秘密之所在，留日学生到处找书看，找来找去，一个同学找到了一部《巴尔克战术》，如获至宝，拿回来大家传阅。但后来大家才知道，这是一部早就在德国公开发行的陈旧军事论著。
　　 蒋介石在日本留学4年，根本没有学到什么先进的军事科学技术，唯养马法而已。所以，后来蒋介石对国民党官兵、军校学生讲他在日本所学到的军事学问时，内容充其量有：爱护军马之道；节制饮食有益于身体；军营要讲卫生，不随地吐痰；要用冷水洗脸，士兵要俭省，要善于利用废物；军人除了学习军事外，还应多学一种技艺，以备退伍后就业；军人服从命令天经地义……
　　 蒋志清在高田野炮兵第13联队实习期间，没有进行过任何革命活动。
　　 1911年暑假，蒋志清回到上海，立即会见陈其美。这时，上海同盟会的刘光汉当了叛徒。由于刘光汉的出卖，陈其美设在上海的秘密革命机关被清政府破坏了，并逮捕了同盟会员张恭。陈其美正计划暗杀叛徒刘光汉，他叫蒋介石参加这一暗杀活动，蒋答应了。陈其美打电报请示正在美国筹款的孙中山，孙不同意搞暗杀，指示陈不可为除掉一个叛徒而引起敌人的注意，从而影响全国起义的整个计划。陈停止了这次暗杀活动。蒋的假期也到了，又回日本实习。不几天，武昌起义爆发，各省纷纷响应，清廷一片混乱。为了挽救灭亡，清廷派重兵猛攻武昌，武昌方面的战局出现了对起义军不利的情况。武昌革命党人向全国发出“极待各处响应”的急电。
　　 在上海任中部同盟会庶务部长的陈其美，接到武昌告急的电报后，立即积极准备上海的起义，以策应武昌。这时上海人民的革命情绪高涨，在陈其美的运动下，上海的青帮、商团以及部分防军，都起而响应，很快就聚集了一定的武装力量。陈又往日本发出急电，催促学习军事的同盟会会员学生立即回国，参加革命。
　　 蒋志清接到陈的急电后，即向师团长长罔外史打了个请假回国的报告，长罔外史对蒋志清说：“你们这些留学生是清政府陆军部委托我们管理的，没有清政府的许可，你们不能擅自归国。”蒋志清又去找联队长飞松宽吾请假。在联队长的职权范围内，最大限度只能给士兵48小时的假。联队长准了蒋志清48小时的假，但对他说：“如果你48小时内不归队，就要被当做逃兵，宪兵队就要缉查你！”
　　 蒋志清得了48小时的假后，从高田乘火车直奔东京，向设在东京的同盟会浙江省支部领了回国的路费。在48小时假期已到的时候，他就脱掉了二等兵的军装，换上了日本的制服，以免遭日本宪兵的缉查。他还将自己的军服和军刀从东京用邮包寄回高田野炮兵联队。这一来表明，自己不私自拿走公物，二来表示不再归队了。这次和蒋志清一同离开高田联队回国的还有张群和陈星枢。与此同时，还有23名在日本学陆军的留学生不辞而别，回国奔赴革命疆场。
　　 11月8日，日本外务大臣全田康哉照会清政府的驻日公使。公文中说，由于这些清国留学生严重违犯了军纪，日本政府已通知各陆军学校，将这些擅自回国的留学生“开除”了。
　　 日本高田野炮兵第13联队的师团长罔外史，对实习的二等兵蒋志清下了如下评语：“留学时代的蒋君，内蕴不露，说不出有出人头地的表现。”
　　 事实上，蒋志清不会推动革命，而革命却推动了蒋志清。
　　 蒋志清1911年10月30日从日本回到上海后，立即去见陈其美。这时沪、杭两地的同盟会和光复会的同志，已确定了两地同时发动起义的行动计划。陈令蒋立即去杭州，了解当地新军的发动情况。
　　 蒋志清于11月1日就赶到杭州，了解到第81标和82标的新军已倾向革命，可以作为起义军的主力。蒋志清和杭州的革命同志草拟了一个起义计划之后，翌日即返回上海向陈其美复命。陈交给蒋志清3600元钱，作为新军起义的军费，并在上海的革命党人中招募了100名“选锋敢死队”，由蒋志清率领去杭州参加起义。