联邦学习中通信和计算的鲁棒性设计方法研究

被引量 : 0次 | 上传用户:wohaha163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习技术能够在不需要边缘端上传原始样本的条件下,协同边缘端与中心端完成模型训练。该技术保障了边缘端的数据隐私,并降低了海量样本上传带来的时延。然而联邦学习的鲁棒性问题给这项技术的应用带来了新的挑战。鲁棒性问题产生于训练的模型汇聚和样本收集过程,且由汇聚结果和样本信息的不准确所导致的。该问题对联邦学习造成难以忽略的影响,包括降低训练结果的性能和减小模型训练的速度等。因此如何解决联邦学习中的鲁棒性问题是一个重要的研究方向。本文考虑联邦学习鲁棒性问题中的模型误差与标签噪声因素,并分别从通信和计算设计的角度提供了相应的鲁棒性设计,以保障模型汇聚结果的准确性,并提高模型训练结果的性能,主要的研究成果和贡献如下:首先提出了鲁棒收发机设计以降低模型汇聚结果的均方误差(Mean Square Error,MSE),考虑了联邦学习模型汇聚中不完美信道状态信息(Channel State Information,CSI)的影响,并保障了模型汇聚结果的准确性。分析了模型汇聚过程中收集各边缘端独立CSI的影响,得出了该收集方式破坏了联邦学习中无需分别获取边缘端信息即可获得汇聚结果这一优势的结论。给出了仅需边缘端并发导频即可完成收集的等效CSI设计,以及利用等效CSI完成的收发机训练过程。另外分别建模了不完美独立CSI和不完美等效CSI,并提出了相应的鲁棒收发机设计。其中不完美独立CSI下的鲁棒收发机设计可采用迭代法优化,其算法复杂度与边缘端数量有关;不完美等效CSI下的接收机设计可使用S-程序将其转化为凸优化问题,发射机设计具有闭式解,该算法的复杂度与中心端天线数相关。实验结果说明了收集等效CSI的可行性,以及鲁棒收发机在降低模型汇聚结果MSE上的有效性。其次提出了考虑模型汇聚中模型误差的鲁棒联邦学习损失函数设计,其核心思想是将模型误差的特征作为参数加入损失函数中。分析了模型汇聚中的误差来源,得出了模型上传和模型广播两个步骤中均会出现误差的结论。并且在单次模型汇聚完成后,模型误差为两部分加性误差的叠加结果。讨论了由噪声和量化误差导致的模型误差之间的差异,其中前者需采用统计性模型建模,而后者则采用确定性模型建模。另外,针对两种类型的模型误差分别提出了鲁棒联邦学习训练方案,并推导了收敛性能。在考虑噪声的鲁棒联邦学习中,利用噪声的统计量设计了加入正则化项的损失函数。该算法的收敛速度与噪声的方差大小呈反相关,且其渐进收敛性为线性收敛,因此具备可执行性。同时,在考虑量化误差的鲁棒联邦学习中,通过抽样平均近似的方法对误差进行采样,并且利用连续凸逼近的方法完成损失函数的计算。该方案的渐进收敛性同样为线性收敛,且边缘端可通过减小训练步长以加快收敛速度。仿真实验结果表明在边缘端数量较多时,两种算法对联邦学习鲁棒性能的提升更显著。最后提出了考虑样本收集中标签噪声的鲁棒联邦学习设计,分别讨论了不同样本分布下的训练过程。研究思路为分配各样本损失函数的权重,并给出协同边缘端和中心端完成模型和权重训练的方案。通过分析样本分布的差异对标签噪声处理的影响,将样本分布分为两类,并分别称为全数据和半数据。其中在全数据下的联邦学习中,边缘端包含有噪样本和少量无噪样本;而在半数据下的联邦学习中,部分边缘端不包含无噪样本,且无法进行损失函数的权重分配。针对全数据下的联邦学习,提出了基于对偶分解法的训练方案,给出了模型训练和汇聚方案,并设计了各边缘端的权重计算方案。该算法满足次线性收敛,收敛速度与训练步长呈正相关。同时,针对半数据下的联邦学习,设计了基于交替方向乘子法的方案。其中不包含无噪样本的边缘端仅进行模型计算,权重由其它边缘端协助计算;包含无噪样本的边缘端需完成权重和模型的计算。该算法同样为次线性收敛,具备可执行性。数值结果对比了多种因素对算法性能的影响,说明了算法的有效性。且在包含少量无噪样本的联邦学习中,算法更能体现性能优势。
其他文献
数字化传播时代,人们的日常生活、习俗环境被互联网影响和重塑。互联网中勃勃新生的大量新型民俗事象,反映出传统民俗在现代社会生活语境中发生了深刻衍变。这类在网上生产、传播的新民俗,虽保留了传统民俗的“种”的基因,但也反映出因社会生活内容更新、数字化传播所带来的诸多衍变,且已蜕变为栖居网络空间的“新民俗”。基于数字化时代“民俗”出现的变化,民俗学研究既要关注数字化时代社会正经历的“再习俗化”过程,聚焦网
随着我国乡村振兴战略部署,农村经济发展成为重点发展目标之一,以缩小城乡差距、让更多的人参与到农村经济建设中为目的,积极发展现代化新农村经济。我国农村地区也存在着较大的南北差异,本文主要分析了相对落后地区农村经济发展中存在的一些问题,探究了现阶段应加大执行国家政策的力度,结合当地农村优势,因地制宜的制订不同地区经济发展政策,发展具有中国特色的现代化农村经济模式。
<正>2022年10月22日,举世瞩目的中国共产党第二十次全国代表大会胜利闭幕。河南工业职业技术学院广大师生认真学习了党的二十大报告、习近平总书记在二十届中央政治局第一次集中学习时的重要讲话以及在延安和安阳调研时的重要讲话,将学习贯彻党的二十大精神全面落实、融入到学校宣传思想工作中。提升政治觉悟,充分认识党的二十大的重大意义。党的二十大,是在全党全国各族人民迈上全面建设社会主义现代化国家新征程、
期刊
本文从教学主题单元确定、每一个单元学习内容确定、学业质量水平标定和构建配套的作业体系四个方面阐述“双新”背景下对化学教学的思考,并在教学中坚持化学核心素养本位,提升课堂教学品质,彰显化学学科育人价值。
地摊经济在我国有着悠久的历史,从古代到现代,已深深地融入并成为人们现代生活的一部分。我们大多数人都是伴随着地摊经济成长起来、受地摊经济哺育的。在脱贫攻坚决胜关键时期,地摊经济在一定程度上有利于推动社会经济的发展,起到缓解就业压力等的作用。本文基于对地摊经济的研究,针对地摊经济存在的问题以及产生的积极影响,充分分析并提出如何让地摊经济"合法、合规、合理、合情"的长期稳定发展下去的对策,让地摊经济成为
在时代飞速发展的背景下,新媒体技术日益呈现出载体多样化、传播高速化、交互复杂化等特点,使意识形态领域的冲击和碰撞变得更加复杂和多变,从而对高校意识形态安全产生新的影响,主要表现在不良思想渗透、复杂多变的网络舆情、信息安全隐患等方面。为此,建议强化互联网新媒体监管体系和能力,发挥新媒体正面舆论引导作用,加强针对特殊群体安全意识教育,完善高校新媒体矩阵科学化建设,探索出新媒体视域下维护高校意识形态安全
高度重视高校意识形态工作,必须紧紧抓住掌握意识形态工作领导权的几个关键环节,做好高校党委的顶层设计,发挥好思想政治理论课的主渠道作用,占领高校网络意识形态阵地,构建意识形态工作考评机制,落实高校意识形态工作最后一公里,才能牢牢掌握高校意识形态工作领导权。
由于未彻底分析河湖水体污染源及黑臭成因,导致经过系统治理后的水体黑臭污染问题反弹严重。河湖黑臭水体整治工作的关键在于排污口的治理,核心在于要有完善、有功效和健康的排水管网。排污口排查工作包括现场排查、水质监测和溯源调查,能够掌握排污口数量和分布、污染物来源和排放情况,查明关联排水管网的混错接状况和健康状况,在武汉经济技术开发区(汉南区)桂子湖黑臭水体整治中取得较好的应用效果。
在高校开展国家安全教育是落实总体国家安全观、培养大学生树立国家安全意识、增强维护国家安全责任和能力的现实需求。当前,我国高校在国家安全教育教学上,存在缺乏专门的课程设置、缺少专职教师队伍、教学体系不完善、教学方式单一,以及学生学习积极性不高等问题。在学科理论建设上,存在基础理论尚未界定清楚、理论与实践结合度较低、本科阶段开设国家安全学专业进程缓慢、国家安全学学术期刊数量较少等问题。为促进国家安全教