1925年12月4日，时任黄埔军校校长的蒋介石写信给正在上海的陈果夫：“杨参议啸天，特托其来沪办理招兵事宜，各方可由其接洽指挥。君在内主持，则事必易举。一切进行手续请详细商酌。船只事，傅筱庵必能照我们便利计划办理，并可电嘱其招应也。补充兵数约须万人。仍以江、浙、皖三省人民为多招，而上海就地切勿可招募也。诸事务请小心是荷。”陈果夫为什么会在上海为广州国民政府如此大规模招兵呢？这还要从蒋介石奉命组建黄埔军校说起。
1924年，孙中山任命蒋介石筹备组建黄埔军校。当时，陈果夫正在上海从事证券交易活动，颇有理财之道。此外，陈果夫还和戴季陶、陈布雷等人交往密切，其观点让蒋介石颇为满意。在黄埔军校筹备期间，蒋介石就曾电邀陈果夫到广州协助工作，但此时陈果夫因病未愈，想到广州医疗条件不如上海，便没有应召前往。建校之初，蒋介石痛感手下人才缺乏，于是立刻想到了陈果夫。
采购军需品
蒋介石在筹建军校过程中，发现当时广州物价昂贵，黄埔军校初创之时经费又十分有限，而在上海采办物品运到广州，连运费在内比在广州采办还便宜。于是蒋介石于1924年8月便给陈果夫写信，要陈果夫在上海帮助采购，陈果夫欣然同意，便在上海开始了采购工作。
黄埔第一期招生约500人，所以，蒋介石让陈果夫采购的第一批军需品是500套呢子制服、呢子大衣、皮鞋、帽子、皮件、衬衣。陈果夫选了一家质量不错、价格公道的成衣店定做。老板为了讨好顾客，画蛇添足，在每件制服的里面多缝了一片白布。哪知这批制服在海关接受检查时，由于那块白布非常显眼，被认定是军装，由于当时上海军阀下令不许军服出境，于是制服全部被扣留。
陈果夫得到消息后焦急万分，立即四处疏通关节，并托虞洽卿等人从中帮助，和一个主管海关的姓许的监督经十余天的交涉，总算将被扣留的军服等收回，但用于束腰的皮带、枪带、刀鞘三样东西，被海关认定是军用品，予以没收。损失虽然不大，不过再要想通过海关运出确是不可能了。陈果夫又几次恳请海关监督公署，但海关就是不通融。
在陈果夫的极力疏通下，海关的人告诉他一条“捷径”：上海有一家公司，专门偷税包运货物，并且运费较正式报关起运便宜数百元。陈果夫找到这家公司后，又怕这家公司靠不住，于是先派人发送少量服装试一试。几天后，广州黄埔军校方面来电，货物如期到达。陈果夫这才放心，于是将所有服装完全交由该公司代运，不久全部安全抵达广州。
后来黄埔军校在上海所采购的军装、皮件，以及军校教导团第一、二团全部的棉衣、军毯等等，陈果夫都交给这家公司装运，“几件大衣或几套棉衣，包成一包，每包至少比较正式报关起码要便宜一元七角，而且稳妥简捷”。
为黄埔招募学生、士兵
军需采购任务的圆满完成，让蒋介石更加信任陈果夫。到了1924年年底，黄埔军校方面更任命陈果夫为招兵委员，指定由陈果夫负责主持在上海为黄埔军校一、二两个教导团招募士兵。
招兵工作开始时，陈果夫租了一处房子，挂上一个“揭普道路募工驻沪办事处”的招牌，对外称招募工人，同时还常常到法院与县公署各方面去疏通，所以工作还进行得比较顺利。招到的新兵在去广州前，陈果夫派人每人发给一张船票和几角钱的零用钱，还分发席子、罐头、酱菜等用品。
后来奉系军阀占领上海，捣毁了此地。陈果夫经常转移，曾将招兵机关搬进租界，又转移到上海证券物品交易所（董事长为虞洽卿，蒋介石、陈果夫、戴季陶等在上海证券物品交易所中当过经纪人）内，表面做生意，暗中招兵；不久更转移到戴季陶的办事处。
当时正值江浙战争爆发，后来又爆发了直奉战争、浙奉战争，各地军阀也纷纷在上海招兵。陈果夫辛辛苦苦招来的新兵，很多还不及到达集中地上海，沿途就被军阀扣留。即便新兵在上海，也被上海码头上的帮会势力乘机敲诈，被迫缴纳1角至3角的“人头费”，后来帮会势力又把“人头费”涨到5角至1元。陈果夫只好通过朋友结交了一个叫王宪章的密探，先让他出面疏通码头上的帮会势力，随后再利用青帮关系请人保护，但效果不佳。
黄埔军校第一期学生在上海招生时，陈果夫主要负责转汇经费以及收发电文的事宜。到第三期招生开始，陈果夫又当上了招生委员。当时报名处设在环龙路四十四号国民党上海执行部所在地，主要面向江苏、浙江、安徽和本地区的学生先报名，据说第三期招生时正值广东国民政府东征陈炯明，前线急需军事人才，因此对新生的要求不如以前严格，只需缴验证明文件，文化程度大体被认可，就算合格了，随后每人发12元旅费，自行前往广州报到。
到了第四期招生，条件又趋于严格，报名者除了要满足上述条件，还要接受文化考试，考试地点在上海大学。当时的报名处设在上海大学里，开始一切还顺利，临近终点时，被警察发现，硬将学生们驱散。幸而考试已告结束，没有对招生工作造成大的影响。
寻找教官和其他人才
除了招兵、招生外，陈果夫还奉蒋介石命为军校招募军教官以及各种技术人才。陈果夫共介绍20多个军官去了黄埔军校。他还发现了几个无线电方面的人才，其中有个姓朱的，他跑去找了六次，但对方认为广州太远，加以拒绝。陈果夫又找到其他几位，但对方要价颇高，结果没有一个去广州。期间，陈果夫还找到一个制造飞机的人才，但被别处出价高的人挖走。最后，陈果夫只找到一个自言出身于沈阳兵工厂、会造迫击炮的人，得到蒋介石同意后，立刻送他去了黄埔军校。此人到广州后，“在三个月内造出了一百尊迫击炮”。之后，蒋介石又请陈果夫为黄埔军校物色军医。陈果夫多方联络，最后找到四个介绍去了广州。
为酬劳陈果夫的贡献，1926年1月，中国国民党在广州召开第二次全国代表大会时，陈果夫被选为第二届中央监察委员。当时为了掩护他在上海的招兵工作，名单没有以原名“陈祖焘”，而是以“陈果夫”予以公布。
此后，随着军校事务日益增加，蒋介石忙不过来，就又致电陈果夫，要他来广州协助工作。陈果夫遂于1926年4月底离开上海，前往广州，结束了其为黄埔招兵的生涯。
终究没有完成任务
蒋介石写上述信件时，正值第二次东征陈炯明结束，东征军付出了很大伤亡，而平定南路邓本殷的作战还在继续，蒋介石深感士兵缺乏，因此要求陈果夫帮助“补充兵数约须万人”
不过，蒋介石提出“万人”之数，陈果夫却没有完成这个任务。因为据陈果夫回忆，自1925年春到1926年4月底，他总计招的新兵为“约四千数百人”。但这4000多人的大部分确实成为黄埔军校的重要组成部分，经过严格训练和战火洗礼的他们为后来的北伐打下了坚实的军事基础，其中一些人成为了蒋介石的亲信。
至于信中蒋介石为什么说“仍以江、浙、皖三省人民为多招”，这似乎也可以从陈果夫的回忆中找到答案：“当时招兵委员们认为徐州来的新兵最好，因为有不少还拖着辫子，是地道的乡下人，和上海附近所招的不同。”“（浙江）处州、金华招来的兵，也还不错。”“（浙江）台州及嵊县兵、处州兵为优，数目虽少，但大半勇敢稳健。”“苏北、皖北的兵，亦多可取。”
