国民党第二次全国代表大会开过后，蒋介石的地位明显上升。这时他是国民党中央执行委员会委员、军事委员会委员、黄埔军校校长和国民革命军第一军军长，兼有政治和军事两方面的重要职务。与在广东的一些国民党领袖相比，从军事方面说，蒋介石比汪精卫强，拥有汪精卫所不具有的军事地位和实力；从政治方面说，蒋介石比李济深、程潜等人强，享有李、程所不具有的政治地位和影响。野心谋求权力，权力助长野心。这时蒋介石已经谋求到了相当大的权力，于是以这种既得权力为杠杆，谋求更大更多权力的野心，就急剧地膨胀了。
　　廖仲恺被刺后，牵涉该案的胡汉民、许崇智等被排挤出广东。蒋介石认为，这时横挡在他前进道路上的障碍就只有以中国共产党为代表的人民革命力量了。于是他就处心积虑地阴谋策划，寻找机会要对革命力量开刀。
　　1926年2月，苏俄政治顾问的罗廷偕谭平山暂离广州，去了北方。鲍的职务由另一名苏联顾问季山嘉代理。季山嘉对蒋介石的阴谋反共心理有所察觉，对蒋的独裁擅权行为也很不满，他竭力拉拢时任国民政府主席的汪精卫对蒋介石进行抑制，这就加深了蒋介石的疑忌。蒋介石和季山嘉的关系越来越僵。在这种情况下，一些孙文主义学会分子和右派骨干如王柏龄、伍朝枢、古应等乘机大肆散布谣言，说苏联顾问和中共要“倒蒋”，广州市面上出现了称蒋介石为“新军阀”的传单，这无异于火上加油。本来，蒋介石早有反共的思想基础，这时，他以为有了可以利用的借口。于是在1926年3月20日，他就制造了一起骇人听闻的中山舰事件。这个事件是他尝试着对革命发动进攻的第一次突然袭击。
　　蒋介石为了发动对中国共产党的打击，除了玩弄阴谋，蒙蔽群众，骗取支持以外，事先还作了各种相应的准备。戴季陶的反共理论为他进行分裂排共作了思想舆论的准备，同时他自己则主抓了组织方面的准备。他利用共产党人和国民党左派同西山会议派的斗争，竭力把自己装扮成孙中山的忠实信徒，与西山会议派作斗争的英雄，大捞政治资本，并且经过国民党第二次全国代表大会开始直接掌握国民党的领导权。他还利用任黄埔军校校长的职位，把军校作为结党营私之所。他利用军校内同乡、同学、师生等关系，把一些反动分子和右派学生安插在各个重要岗位上，特别是安插在武装部队中，以作为发动反革命政变时急需调用的力量。如他把亲信王柏龄先是安插在黄埔军校作教授部主任，后又调任第二十师师长；把刘峙安排为第一军第二师师长；把吴铁城安排为广州市公安局长；把他的把兄弟欧阳格安插为海军学校副校长；另一个把兄弟陈肇英则安排为虎门要塞司令等。这伙反动分子结成了一个以蒋介石为核心的反动帮派，暗中进行反共分裂活动。此外，如前所述，蒋介石还在军校学生中组织反动团体孙文主义学会，以与当时军校的革命团体青年军人联合会相对抗。
　　1926年3月18日晚，黄埔军校驻省办事处主任、孙文主义学会骨干欧阳钟等3人，以军校驻省办事处的名义，到广州文德路李之龙(时任海军局代局长兼中山舰舰长，共产党员)住宅，传达一个所谓的命令，全文如下：“顷接教育长电话，转奉校长命令，着即通知海军局迅速派得力兵舰二艘，开赴黄埔为祷。此致海军局大鉴。中央军事政治学校驻省办事处。3月18日。”这是蒋介石精心设下的诬陷计的第一步，也是关键的第一步。他们制造这么一个假命令，把中山舰调出广州，开赴黄埔，以便为他们后来加给中山舰“异动”、“发生不守纪律举动”、“接运俄械”、“要把校长骗上中山舰送到俄国去”等等罪名埋下伏笔。因为中山舰如果不开到黄埔去，这些诬陷的罪名连表面上的“根据”都没有，也就不攻自破了。
　　李之龙接到这个命令后，随即通知“中山”、“宝璧”两舰于3月19日早晨开往黄埔。当日下午，中山舰开到黄埔，向军校教育长邓演达请示任务。邓回答说，不知道有什么任务。这就把蒋介石爪牙们编造的那个“命令”中所谓“顷接教育长电话”的谎言戳穿了。这也是蒋介石派的阴谋。因为邓演达是反对蒋介石专横独裁的，他是国民党中比较坚定的左派。蒋介石的爪牙造谣，把邓演达的“电话”和中山舰的“异动”联系在一起，目的是通过中山舰事件打击共产党，也准备打击邓演达、打击国民党左派。
　　中山舰在黄埔没有任务，当天下午就返回广州。这时蒋介石的爪牙和孙文主义学会分子认为时机已到，即开始了诬陷阴谋的第二步：大放谣言。他们说，“共产党要暴动”，“李之龙要造反”，“共产派谋倒蒋、翻国民政府，建立工农政府”等等。几乎就在同时，蒋介石开始借机大举逮捕共产党人。3月19日21时，蒋介石秘密命令陈肇英、欧阳格到文德路逮捕李之龙，派兵占领中山舰并解除其武装；命令刘峙率部队包围东园内省港罢工委员会，收缴工人武装；命令吴铁城率公安部队包围苏联顾问和共产党人的住宅以及全市的共产党机关；命令缪斌将第二师各级左派党代表和政治工作人员共40多人全部扣押，拘留于广州造币厂内。同时蒋介石还派人严密监视邓演达。在广州市内一切布置妥当后，蒋介石即电令驻扎潮汕的第一军，把全军党代表撤销，并把他们驱逐出军队。
　　事变发生后，蒋介石预谋扩大事态、大搞血腥屠杀的计划虽未实现，然而这次事变，却实现了蒋介石的部分目标。如夺取中山舰的军权，把舰长换成了欧阳格；驱逐国民革命军第一军中的全体共产党员，取消党代表；解散黄埔军校里的青年军人联合会，迫使所有会员退出黄埔学生军；把以季山嘉为首的几个坚决反对蒋介石军事独裁的苏联顾问解聘回国，使共产党在政治上、军事上、精神上受到一次很大的打击。蒋介石进一步巩固了他在广东和国民革命军第一军中的地位。因此，这次事变得到了西山会议派分子的喝彩。当时正在上海召开伪国民党第二次代表大会的西山会议派，闻讯后给蒋介石发了个电报，赞赏他“以迅速手段，戡定叛乱，忠勇明敏，功在党国。”西山会议派的“嘉奖”撕下了披在蒋介石身上的革命画皮。
　　中山舰事变还有另一个结果，就是当时身为国民政府主席的汪精卫，也在蒋介石的压力下被迫于5月初离开广州，去了法国。由于争权夺利，汪精卫和蒋介石之间一直存在着尖锐矛盾，蒋介石阴谋发动政变，制造中山舰事件，事先根本没有通知汪精卫。蒋介石擅自在广州全城戒严，赶走苏联顾问，拘留党代表，这对挂着国民政府主席和国民革命军总党代表头衔的汪精卫来说，自然是十分难堪的。蒋介石这样干，诚然是对共产党的一击，同时也是给汪精卫一记耳光。中山舰事件的结局，留给汪精卫的只有羞愤出走一条路了。5月23日以后，汪精卫即借口养病，隐匿下来，不久就动身去了法国。而汪精卫的出走，在客观上给蒋介石加强对国民政府的控制提供了机会，就像1925年他在“刺廖”案件中所表演的一样——那次蒋介石挤进了廖案特别委员会，乘机挤走了胡汉民、许崇智。这次他故伎重演，既打击了共产党和国民党左派，又挤走了地位在他之上的汪精卫。他的地位得到了进一步加强。
　　从制造中山舰事件起，蒋介石的立场就公开转到了“大地主大资产阶级方面，变为新右派”。然而在表面上，他还以民族资产阶级改良主义进行欺骗活动。由于他当时的羽毛尚未丰满，“没有力量北伐”，因而如周恩来所说， 还想“叫我们帮助他，叫苏联帮助他”。这样，在中山舰事件之后，他继续玩弄两面派手法，声称此系“个人问题，不得牵动全局”，并声称“革命战线，非联合共产分子，实为国民革命之缺点”。在事变发生后第5天，即3月25日，他在给国民政府的“呈文”中，还演了一出自请处分的丑剧。“呈文”说：“惟此事起于仓促，其处置非常，事先未及报告，专擅之罪，诚不敢辞。但深夜之际，稍纵即逝，临机处决，实非得已，应自请从严处分，以示惩戒而肃纪律。”把事变说成不得已而为之，将罪责推得一干二净，还装做认罪悔过的样子，这是以退为进。4月3日，当收到西山会议派从上海发来的嘉奖电后，他又立即发出通电，以守为攻，表示要继续反对西山会议派，并要“努力国民革命”。电文称：“中正誓为总理之信徒，不偏不倚，唯革命是从；凡与帝国主义有关系之败类，而破坏本党与政府之行动，或障碍革命之进行者，必视其力之所及，扫除而廓清之，以固党国，而慰我总理与已死诸同志在天之灵也!耿耿此心，惟共鉴之。”蒋介石把自己装作公正、得电受辱的样子，怒不可遏，指天发誓。手法尽管变化，目的只是一个：欺骗蒙蔽群众，巩固既得地位，伺机夺取更大的权力。
　　中山舰事件的发生，对中国共产党来说是一次严重的考验，就是对事件的制造者蒋介石来说，也是一个紧要的时刻。从蒋介石当时的地位和具有的实力来说，胜利并不是注定要落在他的头上的。事变的结局之所以有利于蒋，主要是他利用了当时共产党的弱点。其时，共产党的领导人陈独秀等在国共两党关系问题上的迁就退让倾向已在滋长，而一些同志坚持原则、要求与新右派进行斗争的正确意见，往往不被接受，致使蒋介石的这次试探性反革命进攻，没有遇到任何的反击。