“支部建在连上”思想是毛泽东提出来的。
　　1927年9月9日，根据中共中央临时政治局常委会的决定，毛泽东以中共中央特派员的身份领导和发动了湘赣边界秋收起义。由于强敌反扑，秋收起义部队在战斗中相继失利，由4个团6000余人锐减到了1500余人。
　　毛泽东审时度势，在文家市实现转兵，带领部队撤离湘东地区，沿罗霄山脉向南转移。9月29日，起义部队到达江西永新县三湾村。
　　如何把枪杆子牢牢抓在党的手中？怎样才能凝聚起这支部队？为了解决这些问题，毛泽东当晚主持召开中共前敌委员会扩大会议，分析了部队的政治思想状况，决定对部队进行整顿和改编。会议决定了三件事：一、整顿组织，将一个师缩编为一个团，称工农革命军第一军第一师第一团。改编时，提出去留自愿，愿留则留，不愿留发给路费，希望他们继续革命。二、建立党的各级组织和党代表制度，支部建在连上，班排设党小组，连以上设党代表，营、团建立党委，部队由毛泽东为书记的中共前敌委员会统一领导。三、部队内部实行民主制度，官长不准打骂士兵，士兵有开会说话的自由，连、营、团三级建立士兵委员会。
　　三湾改编，成为建设新型人民军队的重要开端。三湾改编提出的把党支部建在連队上，让党能及时影响士兵、及时掌握士兵的情况，是一个伟大的创举。半个月后，毛泽东在酃县（今炎陵县）水口镇一个大祠堂的阁楼上，亲自发展6名工农士兵骨干成为新党员，建立了人民军队第一个连队党支部，史称“水口建党”。很快，发展新党员的工作迅速开展起来，工农出身的党员成了人民军队的支柱。
　　1927年10月27日，焕然一新的工农革命军到达井冈山，开始创建以宁冈为中心的井冈山革命根据地。1928年4月，朱德、陈毅率领南昌起义保存下来的部队和湘南农军到达井冈山地区，与毛泽东领导的工农革命军在宁冈砻市会师，组成了当时全国工农武装中规模最大、战斗力最强的工农革命军第四军（后改称“红四军”），朱德任军长，毛泽东任党代表和军委书记。
　　建军初期，红军接连打破了国民党军的多次“会剿”，气势大盛，井冈山革命根据地不断扩大。1928年11月25日，毛泽东在给中央的报告中写道：“红军所以艰难奋战而不溃散，‘支部建在连上’是一个重要原因。”
　　1929年12月28日至29日，红四军第九次党的代表大会在上杭县古田召开。大会听取了毛泽东关于红四军党的第九次代表大会决议（草案）的报告，通过了《中国共产党红军第四军第九次代表大会决议案》，这就是著名的《古田会议决议》。《古田会议决议》回答了在中国共产党领导下，如何建设新型军队的一系列重大问题，指出：“每连建设一个支部，每班建设一个小组，这是红军中党的组织的重要原则之一。”作为党对军队绝对领导的一项重要制度，“支部建在连上”从此确立起来。