面向数据异构场景的高效联邦学习算法研究与系统开发

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:Gemini
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前联邦学习面临的一个关键挑战为数据分布异质性挑战,其主要表现为各参与方的数据分布是非独立同分布的(Non-IID),它使得各参与方在训练本地模型时,产生模型性能偏移问题,显著降低模型收敛性能和实用价值。此外,当联邦学习面临海量设备参与的大规模场景时,昂贵的通信开销会成为主要的训练瓶颈,尤其是对于那些通信带宽受限的设备,这将限制联邦学习在实际场景中部署应用。因此,如何提高联邦学习算法在Non-IID场景下的收敛性能并降低通信开销,是联邦学习研究的重要课题。针对上述问题,本文的主要贡献如下:1.针对设备局部模型在本地训练中表现出的参数层间不一致性差异,提出了模型分层的距离正则化约束方法(LWDR),用以改进联邦学习本地训练的过程。它根据模型参数层深度,采用不同约束权重,分层控制局部模型与全局模型之间的距离,以适应局部模型层之间的不一致性差异。2.针对大规模Non-IID联邦学习场景下的模型聚合稳定性差的问题,本文将分层约束的思想进一步应用到全局模型聚合的过程中,提出了分层动量聚合方法(LWMA),提高大规模FL场景下的模型聚合稳定性。该方法在聚合过程中引入聚合动量,并根据模型层的深度对动量进行调整,它能在提高聚合稳定性的同时,减小对模型收敛速度的影响。3.本文基于物联网通信技术MQTT以及web服务框架Flask,设计并实现了面向物联网场景的高效联邦学习系统,支持在真实设备上部署本文提出的联邦学习算法。该系统通过本文所设计的动态扩展、心跳检测,三次应答传输,超时检测等机制确保系统的可扩展性、容错性和通信稳定性。此外,为了减小设备上传梯度的通信开销,本文提出了一种梯度压缩方法并将其部署于系统中,用于提高系统通信效率,降低通信成本。本文基于CIFAR-10和CIFAR-100数据集开展了大量的联邦学习实验,实验证明本文提出的联邦学习算法能够有效提高Non-IID场景下模型的收敛性能,同时本文所实现的联邦学习系统具备有效性和较高的可用性。
其他文献
设计师对于建筑空间的设计常常会局限人的基本使用要求,而忽略了人作为建筑空间的主要参与者的情感需求。文章试图从“无意识设计”的设计手法在“乌龙沟长城保护站”中的应用为切入点,探讨建筑空间中人们所需要的情感的表达,也希望通过这次研究能够使“无意识设计”的设计理念在建筑空间中的应用尝试得到不断完善和推广。本文从“无意识设计”的理念分析、特征分析、影响元素以及在建筑空间设计中的原则方法等方面入手,寻求“无
学位
社区动员作为社区治理创新的重要途径,为促进社区发展发挥着重要作用。本研究在质性研究方法的指引下,以上海市M社区动员项目为例,通过文献分析、实地考察和半结构访谈的方法剖析社区合作化动员的实践经验。研究从主体视域出发,分析现代城市社区情境下社区合作化动员的实践动力,结合社区动员结构中的主体结构、动员策略等关键要素讨论社区动员主体的动员机制安排,探究社区动员客体参与行为的改变和社区合作化动员的实践效果,
学位
当前,智慧旅游正快速发展,各地的游客们也开始更加频繁地使用新一代信息技术来获取各式各样的旅游服务。在这个过程中,游客对交通、食宿、咨询等旅游信息服务的要求变得更高、需求也变得更多样。因此,旅游目的地政府如何及时转变职能,改变工作方式,积极运用新一代信息技术,为游客提供及时、可靠、全面的旅游公共信息服务,这一过程愈发引人关注。当前,虽然很多大城市和著名景点的旅游公共信息服务已经形成了一定的发展成果,
学位
近年来,由于受到新冠疫情的反复影响,酒店行业遭受到了前所未有的严重冲击,于此同时,也伴随着许多疫情催生的政策红利和机遇,比如短距离近郊游的居民数量明显增多,进而开辟出了诸多广受欢迎的各具特色的城市近郊游憩项目和场景。各大酒店管理集团都在努力寻找转型路径,结合自身优势,快速积极响应,研发创新产品和服务,为企业创造全新价值,在危难之中寻求一线生机,努力实现自身产品的转型升级,以便在日趋激烈的市场竞争环
学位
近年来,长期运行的容器化工作负载(例如在线云服务、机器学习)在大规模共享生产集群中越发普遍。由于此类长期运行的容器负载请求量通常会随时间而波动,因此共置于同一服务器上的容器之间极易引发资源争用问题,进而在集群中形成资源热点,严重影响负载的运行性能。基于此,容器调度对于提高集群资源利用率和工作负载性能至关重要。然而,现有集群资源调度策略大都考虑如何优化集群负载均衡的短期收益、或者长期运行容器的初始放
学位
迁移学习是一类用于源领域和目标领域分布不同的情形下的机器学习方法,目前学者们已有广泛深入的研究。本文设定数据带有环境信息,提出了一种新的基于分布相似度的模型,该模型致力于充分利用环境信息,在目标领域中进行预测时充分聚焦源领域中最相似环境下的数据,从而实现迁移学习的目的。我们采用了样本权重自适应的迁移学习框架,提出了一种新的样本权重计算方法。为比较本文方法与全局方法的预测效果,本文开展了涵盖多种数据
学位
为了深化党的十九届五中全会提出的构建国内大循环的新发展格局,我国政府将合理引导消费、投资及储蓄作为实现这一目标的重要支撑之一。而商业银行理财产品因丰富多样的产品形式以及收益与风险的相平衡性,成为广大人民群众主要的投资渠道之一。但这繁荣市场的背后却是理财产品爆雷事件的频发,不仅严重侵害了广大投资者的财产安全,也阻碍了我国金融市场的稳健发展,更暴露出我国政府在理财产品监管中存在着诸多问题。因此在这一背
学位
近年来,随着人工智能的深入发展以及无人驾驶、机器人等技术的广泛应用,软件系统的可信性越来越成为一个值得关注问题。为了严格论证系统的可信属性,Deng等人提出可信推导树模型(简称可信树)。为充分发挥该模型的优点,需要解决两个重要问题:(1)如何从工程实践中的技术文档自动抽取关键信息以构建可信树;(2)如何对可信树属性之间的关系进行自动化推理。可信推导树的推理验证需要用到Prolog语言。现有的Pro
学位
近年来,我国的生态环境得到了很大改善,但是局部地区的水体富营养化现象仍然非常严重。氮、磷元素的过量输入是引起富营养化的主要原因,且磷元素的影响更为明显。因此,为降低水中磷污染物的浓度,寻求一种经济、高效的除磷技术显得尤为重要。在诸多除磷技术中,吸附法因具有除磷效果好、简单易操作等优势而备受关注,吸附材料的选择对吸附除磷的效果有重要影响。在众多吸附材料中,陶粒因具有原料易获取、功能易修饰且可再生利用
学位
随着城市化的深入发展,亲子旅游逐渐成为现代都市群体非常重视的一种生活方式,在疫情之前各种以亲子为卖点的长途游和境外游产品市场反响火爆,亲子消费市场蓬勃发展。然而疫情的出现压缩了广大游客的出行空间和时间,城市内的亲子休闲产品应运而生,其中尤以各类亲子乐园的发展最为迅猛,为疫情期间低迷的旅游市场注入了一针强心剂。然而亲子乐园有别于传统的大型主题公园,其在游乐设备、营销模式、软硬件服务等各方面存在较大差
学位