我们经常见到的中共一大会址照片，那所房子是一大代表李汉俊的哥哥家。1920年8月，上海共产党发起小组在渔阳里2号陈独秀的家里正式成立，李汉俊为这个组织起草了纲领。11月，陈独秀接受陈炯明的邀请到广东担任教育委员会委员长，委托李汉俊代理上海小组书记，并将《新青年》杂志交给他和陈望道主编。1921年2月，陈独秀起草了一个党章寄给李汉俊，主张党的组织实行中央集权制。李汉俊不同意，主张地方分权制。在一大会议上，李汉俊再次提出“不赞成组织严密的、战斗的工人政党”。这就违背了列宁的建党原则。李汉俊虽然是当时公认的马克思主义理论家和一大的重要组织者，但一大选举结果他连候补委员都不是。一大后不久，陈独秀回到上海专门主持中央局工作。李汉俊与陈独秀进行过一次长谈，他再次强调自己的观点，认为当时中国大多数知识分子还没有接受马克思主义，整个工人阶级还没有完全成熟，党如果把工作的重点放在开展工人运动上，势必造成急躁冒进的错误。陈独秀并不赞同。1922年初，李汉俊前往武汉，从事教学和工人运动。7月，二大召开，李汉俊赌气没有赴会，但被选为候补委员。1923年。为躲避军阀吴佩孚，李汉俊到北京暂避在哥哥李书城家。通过李书城的关系，李汉俊进入北京政府的外交部、教育部任职。为此，中共中央给予他通告处分。李汉俊则写信给中央，以反对无条件接受第三国际的命令和津贴；要求处理张国焘腐败问题而遭到讥评等理由宣布脱离共产党。1924年，中共中央开除李汉俊党籍。李汉俊实际上认为共产党没有前途。另外他的固执己见、恃才傲物、意气用事也是他选择离开党的原因。1927年12月17日，李汉俊在武汉被桂系军阀胡宗铎枪杀。