顾顺章叛变后，中央特科必须重新进行大的整顿。1931年6月10日，周恩来主持召开中共中央政治局会议，指出：“特委工作虽然有它许多成绩，给予党以不少保护作用，但终于因顾顺章一个人的叛变，遂使全部工作发生动摇，这不能不说是特委工作本身的错误的结果。”为了整顿特科，中共中央决定：“特委的负责人必须以政治坚定、党籍较长，有斗争历史的干部特别是工人干部担任。”
　　陈云在协助周恩来处理顾顺章叛变过程中显示出他的工作能力，他本人又具备中央规定的上述条件。因此，中共中央决定：由周恩来、陈云、康生、潘汉年、邝惠安重新组成中央特别工作委员会，领导中央特科的工作。但6月21日又发生中共中央总书记向忠发因擅自在外面过夜而被捕，供出周恩来在小沙渡路的住处。周恩来虽及时撤离，但在上海已很难继续存身。不久，中央决定周恩来停止工作，等候转移到中央苏区去。这时，陈云在危难之际挑起了重建中央特科的重担。陈云回忆说：“1931年顾顺章叛变以后，我是特科主任，康生叫‘老板’，潘汉年叫‘小开’，我叫‘先生’。一直到1932年我去搞工会工作，康生接任。康生后来走了，以后就是潘汉年负责。”
　　如何从顾顺章叛变的致命打击中开辟新的工作局面？陈云首先从改变中央特科（代号叫“新新公司”）的工作方式人手。特科工作应当深入社会，完全同党的其他组织隔离，基本人员要少而精。由于过去特科组织与工作人员在党内并没有严格隔离，陈云主持特科工作后，首先改变这种状况。他根据少而精的原则，调整内部组织，将已有一定程度暴露、不宜继续做秘密工作的主要干部李强、李克农、陈赓等调离上海；同时撤销第四科，将通讯电台的工作移交中央秘书处，其余三个科进行精简缩编。陈云兼一科科长，潘汉年兼二科科长，康生兼三科科长。他又改变特科的活动方式，要求一切工作人员的社会职业必须是真实的，有着落的，从而能够深入社会活动，通过社会活动建立起各种社会关系，以这些社会关系掩护特科的工作。同时采取更严密的防范措施，强调单线联系，严格限制相互之间的往来。“当时特科同志之间，除相互之间有一二人的联系外，并无其他联系”。
　　陈云花了几千块钱，由一些同情革命的可靠人士出面，办了一二十个小铺子，散布在上海各个地区，以做买卖的形式掩护特科人员的往来接头。比如，他在上海红庙路派人开了一个木器家具店，像一个旧货商店的样子。那时在白色恐怖严重的上海，中央经常要根据形势的变化，设立或撤销某个机关。有了这个木器店，“机关搬家的时候，东西都弄到它那里去，要成立机关，没有家具又可搬来，很方便，是仓库，又做商店，又接头”。
　　陈云自己在哪里办事？他自己回忆说：“上海山海关路的印刷所是我当时的办事机关。”这个地下印刷所的老板是李伟基。1928年冬，李伟基到上海，在新闸路星星印刷所做事。陈云知道后，到上海找过他。李伟基这样回忆：“有一天他与我讲，他和我合开一家小型印刷所”，“他先给我300元，要我出面筹备”。“在山海关路肇庆里17号，借了一间统厢房，买了两部小型印刷机”，“取名新生印刷所”。“名义上他负责内务，我担任业务，也雇了一位青年工友和收了一个学徒，大模大样地做起假老板来了”。李伟基说的这位“青年工友”，就是特科人员李士英，在这个印刷所当校对。据李士英回忆：“我和陈云同志会面时，他穿一件长褂子，外面套一件短背心，戴一顶红帽子”，俨然一个账房先生。陈云后来说：这个印刷所从来没有被破坏过。
　　“开铺子做买卖”，使中央特科有了比较可靠的社会根基，更利于开展隐蔽斗争。共产国际代表曾对陈云这种办法给以充分肯定，说：“这个人花了几千元，搞了一二十个铺子，证明这个人不简单。”对于特科这些工作方式的变化，一个当年的国民党特务在回忆录中感叹道：“实行新的隐蔽策略之后，把我们在共党中所建立的线索，一下割断了，于是我们的耳朵又失灵了，眼睛又失明了。我们只知道共党的地下组织已经变了，但是怎样变？何人负责？机关设在哪里？一切具体情况，我们便茫然无知。”
　　特科的组织机构和工作方式作了初步改变后，陈云同潘汉年等又集中力量研究如何重新恢复和建立情报工作。打入敌人内部收集情报的工作，在顾顺章叛变后一度停顿。为了保卫中共中央的安全，必须尽快重建。长期在中央特科工作的陈养山回忆说：“在陈云同志亲自筹划下，集中一切力量，千方百计利用社会关系，终于在（上海）警备司令部、法英巡捕房等机构重新建起反间情报关系。这个阶段虽仅一年时间，但各项工作很快恢复，成效很显著。”
　　周恩来在总结中央特科工作时说过：“特科工作之最主要部分，是要深入到敌人营垒中去，尤其是直接摧残革命组织的反动机关，更是我们首先要打入的对象。”根据这一指示，陈云指导特科首先想方设法打入国民党政府的上海警备司令部。这是一个负责破坏中共组织的重要机构。国民党当局这时正准备接待欧洲某国的一位王子，要找会讲法语的人当翻译。陈云和潘汉年便利用这一机会，派遣鲍文蔚去当法文秘书，由此结识同警备司令部有些联系的人士，进而又同警备司令部军法处一个录事建立联系，这一关系在了解向忠发被捕后确已叛变并被秘密处决的事情上起了重要作用。
　　向上海国民党市党部派遣人员，这是陈云直接主持进行的。据潘汉年回忆说：“那时，吴开先主持市党部组织部。他破坏我党的恶毒手法之一，就是发动自首，发展内奸。特科需要了解这一具体情况。”陈云、吴开先的同乡沈寿亚，“大革命时是跨国共两党的党员。‘四一二’后在陈云领导下做工会工作。”“1931年陈云领导特科工作，沈到吴开先的组织部当文书。陈云同他谈话，要他长期埋伏在吴处搞情报。”开始时，沈寿亚得不到重要情报，后来他升任组织科登记员，不久又当了科员。“这时他能看到有共产党员秘密去市党部自首的登记表，就向组织报告。”潘汉年“便让他相机向吴开先建议：自首登记表应与一般党员登记表格分别处理保存，并建议自首登记者应有相片存底。此说果被吴采纳，升调他专职保管自首登记表格。从此，他定期向组织报告党员和革命团体成员去组织部秘密自首登记者的姓名、职务、年龄等情况，必要时还向组织提供自首者的相片。”这一工作起了重要作用。例如，张浩（即林育南，大革命时期的工会领袖）的妻弟“向国民党市党部登记自首”后，“敌人布置他继续与张浩来往，足见敌方意在发现张浩上下左右关系，然后一网打尽”。中央得此密报后，要沈寿亚“将登记存底和相片弄出作证”，他都做到了。
　　为了做好情报工作，陈云特别注意建立各种社会关系与工作关系，收到明显效果。前面提到，同陈云在商务印书馆一起领导过罢工斗争的章郁庵，即章秋阳，在“四一二”政变后曾在上海报纸上刊登过一则启事，大概声明他不是“共产党员”或者“共产主义不适于中国”这类话。然后即去他大哥章培（国民党浙江保安团团长）处当军需官。是否中央要他这样做的，陈云并不清楚，“因为这样重要的秘密事情，只能是上海区党委或者中央几位领导同志知道，如赵世炎、罗亦农等”。‘四一二’以后，党曾经派过一些党员到国民党内部做秘密工作，这是确切无疑的。1927年夏天，陈云到杭州与章秋阳见过面，但他没有同陈云讲这件事。陈云认为：“按照党的秘密工作原则，他也无权对我说明。”章秋阳当军需官期间，曾经掩护了一些共产党员，后在上海交易所当经纪人。顾顺章叛变后，陈云同他建立了联系，就让他利用其“合法身份收集情报”。他除介绍陈云、潘汉年同他哥哥章乃器会面，讨论金融问题外，还“利用他的地位，在帮助党处理大宗外汇兑换上起到秘密掩护作用，而这是别人难以做到的”。后来，陈云从长征途中奉命返回上海工作时的住所以及同先前到达上海的潘汉年的联系，都是章秋阳负责安排的。这个时候，章秋阳完全知道陈云在中国共产党内担任的重要职务。陈云后来对章秋阳这样评价：“我们即使今天无法证明他当时是否有党籍，但是很清楚，他是紧密团结在党的周围，做了大量党员所应该做的工作。”
　　由于顾顺章、向忠发的叛变，中共中央在上海的活动非常艰难。这时，留在上海的中共中央委员和中央政治局委员都已不到半数。1931年9月下旬，根据共产国际远东局的提议，并报经共产国际批准，中共临时中央政治局在上海成立。
　　临时中央由博古、张闻天、康生、陈云、卢福坦、李竹声六人组成，博古、张闻天和卢福坦三人为常委，博古负总责。10月中旬，王明先离开上海，前往莫斯科。12月上旬，周恩来也离开上海，前往中央革命根据地首府江西瑞金。
　　上海临时中央政治局成立后，中央特别工作委员会也作了调整，成员有陈云、康生、潘汉年、陈寿昌和杨森。在陈云的领导下，中央特科在严重白色恐怖的艰难环境中，苦撑危局，继续忠诚地保卫着中共中央机关的安全。