30年代初期，日本迅速滑入了军国主义的深渊，1931年在中国东北制造“满洲国事件”，1932年，建立满洲国，1933年，退出国联，1934年，撕毁华盛顿海军裁军条约，1936年，退出伦敦裁军会议。
此时德国也一样，1933年，希特勒建立纳粹政权后不久，就步日本之后尘于同年宣布退出联合国，1935年，希特勒使用人民投票的方法获得了泽尔地区，进而在冲垮凡尔赛体制的口号下，于1936年出兵莱茵非军事区，从而使德国也变成了国际社会中的狂人。虽然日德两国所处的情况不同，但都反对现行的国际秩序，并因此在国际社会上双双陷入了孤立境地。
在此种情况下，两个臭味相投的国度一拍即合。尽管当时有不少日本外交官指出日德军事协定的签署是一件凶多吉少的事，并指出“日本将来只能被德国所利用，不会有任何所得”。但大岛浩的所作所为只能如此：引导“难以忍受孤独而苦恼”的日本一味地向德国屈从，从不追求是非正确与利弊得失。
在大岛浩即将前往德国赴任之际，陆军参谋本部特别要求他注意认真观察苏德关系的动向。日本陆军认为，苏联再不是假象的敌人，已是现实的威胁。不言而喻，对于陆军来说，德国的对苏态度是极其重要的。陆军首先考虑的是，在日苏开战时，德国能否予以合作。参谋本部情报部欧美处处长特别要求大岛浩在德国搜集有关苏联的情报。
1935年春天，德国亨克尔飞机公司负责向日本陆海军出口工作的哈克试探地问大岛浩：“不知贵国是否愿意与德国缔结德日军事合作条约共同对付苏联?”哈克说，“当然这是纳粹党外交部长里宾特洛普的个人想法。”大岛浩听后大为心动。同年10月，在里宾特洛普的要求下，大岛浩与其在哈克家里进行首次会见。两人详细密谈了关于缔结军事条约的事。随后，大岛浩立即拍电将此报告给参谋本部。
当时，大岛浩心意已定，为了牵制苏联，日德必须缔约。他说：“日俄战争时，由于俄国与德国签订了协约，所以俄国毫无后顾之忧，把自己的王牌部队调到远东作战，使日军大吃苦头。第一次世界大战中，反过来由于日本对德宣战，又使俄国可以放心大胆地打起德国人来。因此，这次如果日德两国结为盟友，就会迫使苏联两面作战，它再想干预日本的对华政策也就不那么容易了。”
参谋本部受到大岛浩的报告后，为摸清德国方面的真实意图，于同年底11月派陆战二部德国情报组组长若松前往柏林。若松在柏林逗留期间，曾与约阿希姆·冯·里宾特洛甫和国防部长维尔纳·冯·勃洛姆堡举行了会谈。在大岛浩的参预下，双方草拟出共同防共协定，若松才登机回国。
在德国期间，若松将会谈的情况逐一向参谋本部做了汇报。但始终与若松一起行动的大岛浩却根本没有向大使馆报告。后来，大使馆参赞井上庚二郎得知此事，立即提出抗议。大岛却满不在乎的说：“此事属于统帅权范围内的事，理所当然是武官的工作。”对于武官的这些独断专行的做法，外务省如果采取坚决态度，也是可以削弱这种潮流的势头的，但当时准备当一届外交大臣有田八郎，在1935年访问柏林时，却对大岛主张日德合作的态度表示赞同。而且，在有田就任外相后，对大岛继续包揽本应移交给大使武者小路承担的的协定谈判工作，也没有提出任何异议。《日德防共协定》定于1936年11月25日，有武者小路和里宾特洛甫签约生效。该协定还附有一份议定书和一份秘密协定。协定的签署使得大岛捞到一笔骄傲的资本。
《日德防共协定》缔结后的第三天，即28日，苏联负责外交工作的人民委员马克西姆·李维诺夫在苏维埃第八次全国代表大会上谴责了法西斯国家的反苏外交政策，强调指出：公布于众的防共协定不是什么为对付第三国际的协定，运用正确的语言表达，只不过是其它秘密协定的一种掩护而已。他说：“这个秘密协定，充分暴露了过去15个月以来日本陆军武官与德国超级外交官之间所进行的会谈的真正目的。”
这就是说，苏联谍报机关业已探明，日德防共协定是日本陆军代表独断专行的产物，它将发展成为一种极其危险的因素。
当初日本外务省的想法是：应避免防共协定过分刺激英国和苏联，同时不要加入任何特定的政治集团。然而，事实上它已大大地刺激了苏联，英国也投来了不安的目光。紧接着，意大利于1937年也在这个防共协定上签了字，至此，日德意三国开始走上结盟的道路。
青云直上
1938年7月14日，日本驻意大利使馆武官有末精三突然接到大岛浩的电话。电话要求他在16日到布达佩斯的盖莱尔特饭店见一面。大岛浩没有告诉有末的具体内容，只说到时再说。
到了指定日期的下午，有末精三坐在饭店的大厅里等待大岛浩时，还在反复猜想：他找我到底要干什么呢?过了一会儿，大岛和参谋本部的笠原幸雄一起走进了大厅，笠原的腋下还紧紧夹着一个手提包。据传，笠原将出任驻柏林武官。因此有末想他们一定是来商讨对苏联秘密活动的。
大岛浩说：“此番会晤的内容极为保密，为以防万一，我们还是换个地方吧。”于是他们决定借日本驻匈牙利公使馆大使的私邸进行交谈。后来为谨防窃听，三人又跑到停放在有树林掩蔽的庭院中心的汽车里。
大岛浩沉稳地从笠原的手提包里取出一本30公分见宽的像册，然后揭下了几张照片给有末精三看。照片实际是密码。大岛浩说：“这是德国提出的有关日德意三国结盟的方案。这次的方案不是只针对苏联，而是对各国而言的。主要意思是，当任何一方受到第三国进攻时，三个国家要互相支援，包括武力援助。事关重大，不便发电。所以，决定请笠原君亲自带回东京。你看这个方案任何?”
有末精三回答说：“意大利和德、日两国的情况不同，恐怕其国内形势使之难以同意加盟。”
大岛浩边听边说：“里宾特洛普说，戈林元帅和墨索里尼总理是老交情了，没有什么问题?”最后，大岛浩还叮嘱道：“此事不宜外传。”
“但，对大使......”有末精三蹑嚅地刚要发话，就被大岛浩打断：“这是军事机密。”并强调道，“同国内的一切交涉都要通过我。”最后，有末好不容易才征得同意，可将此事告知驻意大利海军武官一人。
为加强日德意三国的合作，早在1938年1月，刚刚就任政府外交部长的里宾特洛普就与大岛浩开始了磋商。这次也和签订防共协定时一样，驻德大使东乡茂德完全被蒙在鼓里。
一个国家的外交部长，越过双方国家的全权大使，同该国一个武官进行关系到该国命运的谈判，这在外交上是不允许的。这里面的原因是东乡茂德在担任欧美局局长时，曾就签订日德防共协定表示过反对——他说：“希特勒的过激行动终将成为引起欧洲乃至世界大乱的根源，因此日本与之结盟并非上策。”所以里宾特洛普肯定是对他甚为不满，而想通过大岛浩来做日本陆军的工作。
同年7月，驻德大使馆一秘昌谷忠宝获悉，笠原在柏林的逗留是为了与德方磋商加强日德意三国合作的问题，于是马上报告了东乡大使。东乡闻之大为震惊。8月中旬，当东乡了解到谈判业已获得相当进展时，立即电告了外务省：“三国同盟很可能起到诱发欧洲战争的坏作用，最后日本也会被牵连进去，因而应取消结盟谈判。”
但是，就任外相不久的宇垣一成却回电说：“关于加强防共协定问题，业已决定由陆军武官大岛浩同里宾特洛普进行联系磋商。东乡茂德不服，第二次拍电：”委托陆军武官处理军事以外工作是很不妥当的。这有悖于外交一元化原则。”几天之后，东乡便被莫名其妙地调往莫斯科。大岛浩的谍报奇才运用到了自己人身上，他越俎代疱了一切外交事务。东乡被排挤出去。德国成了大岛浩独来独往的场所。
原外相佐藤尚德曾向宇恒外相建议，叙用大岛为驻德大使，那是绝对不成的，可是，由于有陆军的支持，1938年10月大岛浩直接由武官升为大使，这在日本外交史上尚属首例。
