论文部分内容阅读
联邦学习技术能够在不需要边缘端上传原始样本的条件下,协同边缘端与中心端完成模型训练。该技术保障了边缘端的数据隐私,并降低了海量样本上传带来的时延。然而联邦学习的鲁棒性问题给这项技术的应用带来了新的挑战。鲁棒性问题产生于训练的模型汇聚和样本收集过程,且由汇聚结果和样本信息的不准确所导致的。该问题对联邦学习造成难以忽略的影响,包括降低训练结果的性能和减小模型训练的速度等。因此如何解决联邦学习中的鲁棒性问题是一个重要的研究方向。本文考虑联邦学习鲁棒性问题中的模型误差与标签噪声因素,并分别从通信和计算设计的角度提供了相应的鲁棒性设计,以保障模型汇聚结果的准确性,并提高模型训练结果的性能,主要的研究成果和贡献如下:首先提出了鲁棒收发机设计以降低模型汇聚结果的均方误差(Mean Square Error,MSE),考虑了联邦学习模型汇聚中不完美信道状态信息(Channel State Information,CSI)的影响,并保障了模型汇聚结果的准确性。分析了模型汇聚过程中收集各边缘端独立CSI的影响,得出了该收集方式破坏了联邦学习中无需分别获取边缘端信息即可获得汇聚结果这一优势的结论。给出了仅需边缘端并发导频即可完成收集的等效CSI设计,以及利用等效CSI完成的收发机训练过程。另外分别建模了不完美独立CSI和不完美等效CSI,并提出了相应的鲁棒收发机设计。其中不完美独立CSI下的鲁棒收发机设计可采用迭代法优化,其算法复杂度与边缘端数量有关;不完美等效CSI下的接收机设计可使用S-程序将其转化为凸优化问题,发射机设计具有闭式解,该算法的复杂度与中心端天线数相关。实验结果说明了收集等效CSI的可行性,以及鲁棒收发机在降低模型汇聚结果MSE上的有效性。其次提出了考虑模型汇聚中模型误差的鲁棒联邦学习损失函数设计,其核心思想是将模型误差的特征作为参数加入损失函数中。分析了模型汇聚中的误差来源,得出了模型上传和模型广播两个步骤中均会出现误差的结论。并且在单次模型汇聚完成后,模型误差为两部分加性误差的叠加结果。讨论了由噪声和量化误差导致的模型误差之间的差异,其中前者需采用统计性模型建模,而后者则采用确定性模型建模。另外,针对两种类型的模型误差分别提出了鲁棒联邦学习训练方案,并推导了收敛性能。在考虑噪声的鲁棒联邦学习中,利用噪声的统计量设计了加入正则化项的损失函数。该算法的收敛速度与噪声的方差大小呈反相关,且其渐进收敛性为线性收敛,因此具备可执行性。同时,在考虑量化误差的鲁棒联邦学习中,通过抽样平均近似的方法对误差进行采样,并且利用连续凸逼近的方法完成损失函数的计算。该方案的渐进收敛性同样为线性收敛,且边缘端可通过减小训练步长以加快收敛速度。仿真实验结果表明在边缘端数量较多时,两种算法对联邦学习鲁棒性能的提升更显著。最后提出了考虑样本收集中标签噪声的鲁棒联邦学习设计,分别讨论了不同样本分布下的训练过程。研究思路为分配各样本损失函数的权重,并给出协同边缘端和中心端完成模型和权重训练的方案。通过分析样本分布的差异对标签噪声处理的影响,将样本分布分为两类,并分别称为全数据和半数据。其中在全数据下的联邦学习中,边缘端包含有噪样本和少量无噪样本;而在半数据下的联邦学习中,部分边缘端不包含无噪样本,且无法进行损失函数的权重分配。针对全数据下的联邦学习,提出了基于对偶分解法的训练方案,给出了模型训练和汇聚方案,并设计了各边缘端的权重计算方案。该算法满足次线性收敛,收敛速度与训练步长呈正相关。同时,针对半数据下的联邦学习,设计了基于交替方向乘子法的方案。其中不包含无噪样本的边缘端仅进行模型计算,权重由其它边缘端协助计算;包含无噪样本的边缘端需完成权重和模型的计算。该算法同样为次线性收敛,具备可执行性。数值结果对比了多种因素对算法性能的影响,说明了算法的有效性。且在包含少量无噪样本的联邦学习中,算法更能体现性能优势。