面向数据异构的联邦学习的性能优化研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:Iknowyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习能够在不传输各物联网原始数据的情况下,实现所涉及的设备协同训练同一个全局模型,因此其逐渐成为一种低通信开销、数据隐私保护的高效分布式机器学习范式。然而真实物联网环境中各设备所采集数据的异构性会导致联邦学习模型训练过程中“权重发散”的现象,从而使算法收敛速度减慢,且其所训练模型的推理精度降低,这可能会导致严重的安全隐患。现有的面向数据异构的联邦学习优化算法大多会引入大量的通信开销或暴露其原始数据的隐私,这使得它们不适用于对数据安全要求严苛且资源受限的物联网应用。因此,如何在不引入大量的通信开销且保证数据隐私安全的情况下,提升面向数据异构的联邦学习算法性能是现阶段联邦学习在物联网场景应用所亟待解决的关键问题。针对上述问题,本文围绕联邦学习模型训练的三个阶段(即设备选择、本地训练、云端聚合),以提升数据异构场景下联邦学习算法性能为目标,设计了三种不同的优化方法。具体而言,本文的主要研究内容和贡献如下:(1).基于设备数据分布的相似性,提出了一种依赖设备分组的新型联邦学习设备选择算法,优化了设备选择阶段。本文使用库函数中预训练的模型对各设备数据特征进行提取,从而获取了所有参与训练的设备特征。然后对加密后的各设备特征进行聚类,在不暴露原始数据隐私的情况下实现了设备的分组。如此,本文即可在联邦学习模型训练的过程中对设备的选择加以约束,从而解决因数据异构产生的“权重发散”现象而导致的模型收敛振荡问题。(2).基于知识蒸馏,提出了一种动态调整软硬标签的新型联邦学习本地训练算法,优化了本地训练阶段。本文在每轮本地训练结束后使用各个设备更新后的本地模型推理得到标签对齐的样本逻辑值并将其与模型梯度一同上传到云端服务器,云端服务器将二者各自聚合后一同下发给待进行本地训练的设备。将之与本文设计的新型损失函数和动态调整策略相结合,可以解决各设备在模型本地训练过程中知识映射效率不高的问题,从而提升模型精度。(3).基于设备级联,设计了一种包含设备分组计数的新型联邦学习云端聚合算法,优化了云端聚合阶段。本文将联邦学习模型训练划分为多个模型训练循环并延迟云端全局模型聚合的频率。为了鼓励更多设备参与到模型训练中并避免同一模型副本在同一设备上训练多次,本文将所有参与训练的物联网设备进行分组并对其参与训练的次数进行计数。通过周期性地聚合所有遍历多个设备的模型,本文所提出的算法可以有效地解决模型的训练集规模偏小且训练数据偏斜的问题,从而提升算法性能。本文使用多个知名数据集、多种数据异构划分方法以及多种经典模型对所提出算法的性能进行验证,实验结果表明,本文所提出的优化方法,可以在不引入大量的通信开销和保证数据隐私的情况下对联邦学习模型训练的三个不同阶段(即设备选择、本地训练、云端聚合)进行优化,不仅能够有效提升模型的推理精度,还能够加快模型训练的速度。
其他文献
潮滩湿地是陆地与海洋之间的关键过渡地带,在生态系统中发挥着重要的功能。由于滨海地区经济的快速发展和人口的不断增加,人地矛盾日益激烈。作为缓解滨海地区人地矛盾的重要举措,过去几十年大量潮滩湿地被转变为农田、养殖塘和建设用地,且从上世纪80年代开始围垦的速度逐渐加快。大面积的潮滩湿地围垦不仅破坏了生态功能的发挥,还对滨海湿地氮素污染造成极大的影响。因此,全面的认识潮滩湿地围垦对土壤氮素转化过程、N2O
学位
气动执行器因具有清洁、高效等特点被广泛应用于新兴工业场合。无杆气缸由于两腔活塞面积相同、同样行程下可以节省安装空间等优点,在气动机械手的定位、医疗辅助机器人的轨迹跟踪、产品的精密装配等场合中得到广泛的应用。为了提高无杆气缸的位置控制精度,本文对其控制系统进行研究,主要内容包括以下几个方面:(1)搭建控制系统实验平台,对气动系统进行特性测试。实验测试了比例方向控制阀的流量特性、阀芯位移特性和压力特性
学位
改革开放40年以来,我国经济长期保持高速增长,这期间对外贸易发挥了重要作用。随着经济逐渐转向中高速增长阶段,以及国内国际双循环新格局的形成,依靠量的扩增的外贸发展模式已不可持续,我国外贸面临深刻的转型升级问题。外贸企业是对外贸易的微观主体,外贸的转型升级依赖于外贸企业的能动变革,外贸的转型升级的成功与否,归根结底在于是否能够培养外贸企业新的竞争优势,使得外贸企业能在国际竞争中保持竞争力而立于不败之
学位
儿童青少年问题行为包括内化和外化问题的成因及矫治一直以来是发展心理学与心理发展病理学关注的核心问题之一。已有研究考察了家庭环境、同伴交往、学校等环境因素在儿童青少年内外化问题形成中的作用,也探讨了基因、自主神经功能、认知神经功能等神经生物因素对儿童青少年内外化问题形成的影响。由于生物学研究手段与技术的发展(如基因检测、多道生理记录等神经生理分析技术的发展)及其在心理学研究中的广泛运用,为深入探讨神
学位
始于2001年多哈回合在服务、知识产权以及争端解决等多边贸易谈判的屡屡受挫,以及新贸易保护主义的抬头,特别是美国特朗普政府对WTO争端解决机制的公然挑战,世界各国对WTO的多边贸易体制的信心逐渐减弱,纷纷转向区域经济一体化形式的合作,通过缔结区域贸易协定(RTA)以争取实现对外经济利益的最大化。自21世纪以来,世界各国缔结的区域贸易协定数量激增,且越来越重视对服务问题的谈判。截至2021年3月,向
学位
典当业以物质钱,是中国历史上最古老的金融行业之一,也是传统金融业中唯一一个延续至今的行业。近代上海典当业逐渐成为全国典当业的重镇,种类丰富,在近代上海历史上发挥了不可替代的作用。近代以降,典、当、质、押、代步之间发生了实力转换。政府对典当业的管制呈现出抑制利息之趋势,并试图改押为典。这种治理逻辑也许是合理的,但由于晚清以来上海政局变动不已、经济形势时起时伏,此种努力并不成功;加之上海租界管辖权独立
学位
国际贸易是商品在不同文化背景下的经济体之间开展的跨国流动活动,商品国际交换的实质是国家文化的跨国传播与交流。“一带一路”沿线既有各领域均走在世界前列的发达国家,也有充满潜力快速崛起的发展中国家,还有人均收入水平较低的落后国家,沿线国家之间经济发展水平差距较大,同时具有显著的文化差异,中国与沿线国家开展贸易合作时面临着较大的文化壁垒。文化差异是不同国家的人们在思想、价值与行动方面所呈现的认识差异,突
学位
蛋白质的定向设计对于酶的改造,药物分子设计,蛋白折叠以及抗体设计等问题具有重要的价值。本文以此为中心,进行了如下研究:1、通过开发vd WP方法实现了对单点突变在蛋白热稳定性贡献的高效预测。通过对野生型蛋白晶体结构的分子动力学模拟,并基于野生型结构进行突变和结构优化,在27个蛋白体系,853个单点突变数据上得到了和FEP方法相当并且优于机器学习方法的线性相关性。同时,不同于FEP方法需要大量的计算
学位
自1991年索尼将基于Li Co O2/C体系的锂离子电池(LIBs)商业化以来,LIBs便在电动汽车及便携式电子设备等领域实现了广泛应用。然而,商用石墨负极较低的理论比容量和贫乏的锂资源限制了LIBs的进一步发展。钠和锂元素位于同一主族,具有相似的物理化学性质,并且资源多、分布广泛、价格低,所以钠离子电池(SIBs)成为最有发展前景的LIBs的替代者。但是,商用石墨负极的窄晶格间距(0.34 n
学位
椰浆和椰子汁是以椰子蛋白作为乳化剂稳定的水包油形式的乳液体系。研究表明,由于椰子蛋白的乳化能力的不稳定,椰子蛋白乳液在生产加工运输和储存过程中很容易发生分层,导致其经济效益降低。因此,提高椰子蛋白乳液的稳定性是椰子相关产业的重要问题。研究椰子蛋白的乳化稳定性及其稳定机制也为椰子相关产品的实际生产与加工提供重要的理论基础。本研究旨在探讨苹果果胶(Apple pectin,AP)、柑橘果胶(Citru
学位