1905年8月20日，中国同盟会在日本东京正式成立，孙中山被推举为总理，总理之下设执行、评议、司法三部，黄兴任执行部庶务，负责协助总理主持工作。当时在日本的中国留学生纷纷加入同盟会，在日本陆军士官学校研读军事的留学生尤其踊跃。入会者都要签署一份由孙中山拟订、黄兴与陈天华审定的盟书。
　　盟书签毕，由总理孙中山领着各人举起右手，向天宣誓。在干事部未成立之前，各人的盟书暂由总理保管，而孙中山本人的盟书则由黄兴保管。然后由孙、黄在另一个隔开的室内向每位同志分别传达握手的暗号和三种秘密口号。最后，孙中山和每一位同志握手道喜：“特为诸君庆贺，从今天起，诸君都不是清朝的人了。”不久，同盟会又创办了机关报——《民报>。
　　然而，问题很快就来了，在士官学校，参加革命团体的留学生固然很多，然而反对革命的，甚至替满清王朝做特务工作、提供情报的人也不少。士官学校中的同盟会员，常会接到总部开会通知的邮件，而开会地点，大多又在《民报》报社内。这不但容易给满清政府派驻日本的侦探获得消息，随时向上禀报，而且也容易引起同学中的非同盟会会员甚至政敌的注意。这样一来，这些同志将来回到国内开展工作就困难了。于是，一部分士官学校的会员就向总部提出意见，请求改善通讯方式；否则，为了保守革命党的秘密，亦为了个人的安全，就只有宣布退出同盟会了。这些意见反馈到总部，孙中山与黄兴等人经过反复研究，同意以后开会暂不通知士官学校的同盟会员参加；随即又另约士官生中的会员李书城、耿觐文秘密商议应对办法。李书城建议，在同盟会之外，另行组织士官学生中的革命团体，而团体中的所有同志，以士官学生加入同盟会者为限，绝不容许别的人加入，开会地点随时选觅决定。至于团体中的一切会务、重要活动等，仍受同盟会本部直接指挥，等于是同盟会的直属分部。这个办法商妥并确定后，李书城、耿觐文等人在士官生中发展组织、成立团体，于是，一些秘密小团体如“丈夫团”、“革命本团”、“死友”等纷纷出现。在这几个小组织中，人才较盛、规模较大要算“丈夫团”了。此团成立后，其组织名册、一切会议记录等都呈报同盟会总部备案，并请求总部保守秘密。由于孙中山在日本的时候不多，因此黄兴与“丈夫团”的接洽最为频繁。黄兴是湖南人，而“丈夫团”中的一批骨干如李书城、耿觐文、张凤翙等都是湖北人，其时湖南、湖北都属于“湖广省”，由于同属两湖地区，意气更易相投，感情亦颇斟洽，开展起工作自然也默契而顺畅。
　　再来说说“丈夫团”的定名经过。这批陆军士官生在开成立大会的典礼时，阎锡山、张凤翙等人主张用“军事研究会”，李烈钧、杨曾蔚等提议用办刊物的名义作为团体名称。正在议而不决时，浙江籍学生黄郛提议用“丈夫团”，并解释说：“孟子云：富贵不能淫，贫贱不能移，威武不能屈。这三句话既是大丈夫的含意，又是大丈夫的精义。我们身为军人，只有做到这三句话，才够得上谈论革命。”这番话立即得到全体与会者的一致赞同，“丈夫团”就这样成立了。
　　“丈夫团”的团员们在民国前后都各有特殊贡献。他们归国后，或潜进清廷军事中枢，或渗入清廷新军，或跻身军事学堂，都竭尽全力酝酿革命。武昌起义爆发后，他们充任各地民军的军事将领，率兵攻城略地，发挥了重要作用。如李烈钧被推任江西都督府参谋长、海陆军总司令，迫使北洋海军主要舰艇宣布起义；阎锡山率军攻克太原，杀死清廷山西巡抚陆钟琦，被公推为山西都督：还有张凤翙被推举为陕西都督，黄郛被推举为沪军都督府参谋长等。“丈夫团”，亦堪称名副其实了。