联邦学习的数据异构性问题研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wolfcner
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,随着人工智能技术的不断发展,人工智能现实应用场景中存在的数据孤岛和数据隐私保护问题不断暴露出来。联邦学习作为一种解决数据孤岛和数据隐私保护问题的有效解决方案,受到了广泛关注,并且在多个领域有了成功的应用。然而,联邦学习的现实应用场景中普遍存在的数据异构性问题限制着联邦学习的发展,成为联邦学习落地的阻碍。解决联邦学习数据异构性问题成为联邦学习的关键挑战。现有的联邦学习数据异构性解决方案的关注点大都在模型上,且大都不能同时很好地解决联邦学习数据异构性问题带来的两方面负面影响。鉴于此,本文从新的角度研究了联邦学习中数据异构性问题的解决方案。首先,本文揭示了联邦学习数据异构性问题产生负面影响的潜在根本原因:联邦学习中设备上数据的非独立同分布(Non-IID,Non-Independently Identical Distribution)造成的设备相互之间的精度拉扯。然后,本文提出了基于联邦学习聚合参数的FedFPO(Federated Fusion Parameters Optimization,联邦聚合参数优化)算法。Fed-FPO算法利用模型变化率来计算不同设备上模型的聚合参数,降低设备相互之间的精度拉扯,从而降低联邦学习数据异构性带来的负面影响。随后,本文对Fed-FPO算法做了进一步优化,将Fed-FPO算法与知识蒸馏(Knowledge Distillation)相结合,提出了Fed-FPDO(Federated Fusion Parameters Distillation Optimization,联邦聚合参数蒸馏优化)算法。Fed-FPDO算法将Fed-FPO算法中聚合得到的聚合模型做进一步知识蒸馏后得到总模型,同时利用模型变化率来计算知识蒸馏中蒸馏温度,进一步放大了Fed-FPO算法在解决联邦学习数据异构性问题上的算法性能,降低设备相互之间的精度拉扯。最后,本文通过仿真实验对Fed-FPO算法和Fed-FPDO算法进行了性能分析。仿真实验中模拟了现实环境中联邦学习数据异构性的真实场景。实验结果表明,FedFPO算法和Fed-FPDO算法在解决联邦学习数据异构性问题上有优越的性能。
其他文献
屏幕视频主要由文本区域、计算机图形和其他计算机生成的内容组成。相比于相机拍摄的自然场景视频,具有独特的特征:在空域上,其具有更高的色彩纯度、更高的边缘强度;在时域上,场景切换更为频繁,且相邻帧之间的运动更加集中、剧烈。在屏幕视频的压缩与传输过程中,需要在尽可能不降低视频主观质量的前提下提升压缩率。针对这一需求,本文分析了屏幕视频的视觉感知特性,建立了屏幕视频的视觉感知模型。具体而言,这一模型包括空
学位
基于多视图的三维重建旨在从物体的多视角图片中恢复出物体的3D形状。随着深度学习的发展,基于深度学习的三维重建工作方兴未艾,但仍然存在以下两点挑战。首先,多视图之间存在一致性和互补性,如何建模多视图的一致性和互补性关系,是基于多视图三维重建工作的关键。其次,现有工作通常构建深层次的网络结构来提取更具辨识性的高阶特征,但是深层网络中几何信息逐渐丢失,导致物体的精细结构难以准确重建。针对上述挑战,本文基
学位
近年来行人轨迹预测的研究受到广泛关注,在诸如自动驾驶、智慧城市、智能监控等计算机视觉应用中起到了关键作用。在行人轨迹预测中,行人之间以及行人和场景之间的交互都会影响行人轨迹。交互的最优构建方式也会随着环境的变化而变化,从而造成预测轨迹的不确定性。因此,如何依据环境变化建模最优交互关系是行人轨迹预测的难点。针对这一难点,目前还面临以下三个问题:一是建模对象,即建模哪些交互;二是模型结构,即在确定建模
学位
经过数十年发展,冷冻电镜已成为研究蛋白质生化性质最有效的手段之一。通过冷冻电镜密度图构建蛋白质三维结构是该技术的最后一环。然而,该步骤目前大多由结构生物学家手动完成。为节省人力物力,本文以冷冻电镜密度图为研究对象,提出了一种基于深度学习的蛋白质三维结构预测算法。该算法主要包含三个子模块,分别是Cα原子目标检测、氨基酸目标检测和蛋白质骨架构建,具体内容如下:(1)设计了一个基于Retina Net的
学位
场景识别是计算机视觉领域的一个经典研究问题,其中室内场景的准确识别有助于室内机器人和增强现实等应用的发展。然而室内场景通常存在空间布局多样、光照复杂以及物体相互遮挡等问题,给室内场景识别带来挑战。提供场景空间信息的深度(Depth)数据结合可以提供颜色和纹理等信息的RGB数据,为室内场景识别带来新的研究契机。因此,近年来基于RGB-D的室内场景识别得到了广泛的关注。针对基于RGB-D的室内场景识别
学位
基于问题的教学法(Problem Based Learning,PBL)是一种以学生分享讨论为主的教学方法,该方法正被广泛应用于医学教育领域。PBL课堂教学中,教师需要提问引导、反馈并通过记录学生课堂发言情况给出评价。为保证评价客观性,教师需在课堂上记录很多内容,这对教师的要求很高。根据PBL课堂的需求,研究这类多人同屏场景下的发言行为检测问题,能自动统计学生的发言,辅助教师开展教学评价。发言行为
学位
跨模态图文检索任务旨在挖掘图像和文本两种不同模态数据之间的对应关系,并通过一种模态的输入数据在另一种模态中检索语义相似的数据。跨模态图文检索融合了计算机视觉和自然语言处理两个领域的相关知识和技术,例如特征提取、注意力机制等等,在自然灾害预警、军事侦察、资源勘探等诸多领域都起着关键作用。跨模态图文检索不仅需要分别对图像和文本进行特征提取和理解,还需要进一步建立文本语义和视觉图像之间的关系,并在两种不
学位
随着信息技术的发展,在线教育平台逐渐兴起,与传统课堂相比线上教学感知度较低,传统课堂中教学研究人员通常采用眼动仪收集眼动数据对学生学习行为进行测量分析,然而眼动仪不便在日常学习中推广应用,因此使用单目摄像头采集脸部图像进行视线估计成为较为常见的数据采集和行为分析方式。课程视频中幻灯片内容往往具有显著的信息传递意图,学生对课程视频的观看模式与其内容密切相关,而现有视线估计算法往往忽略了屏幕内容与视线
学位
随着人口老龄化的加剧,对老人的安全监护逐渐成为社会的重要课题,意外跌倒是导致老人意外死亡的重要原因,若能够及时地检测出跌倒的行为,对挽救老人的生命有很大帮助。由于姿态估计提取到的人体骨架特征可以很好地编码人体的结构信息,能够帮助实现高效的跌倒检测算法。因此,本文首先对人体姿态估计的相关技术展开研究,再基于姿态估计设计一个轻量高效的跌倒检测算法,主要内容如下:(1)在姿态估计领域中,热图被广泛用于编
学位
随着5G时代的到来,为无线通信网络中数以亿计的新接入设备提供高速、稳定的服务,成为了无线网络最迫切的需求。由于其能耗较低、易于部署、适用性强的优势,智能反射面(Intelligent Reflecting Surface,IRS)在无线通信系统优化问题中得到了广泛研究。然而,现有研究往往忽视了IRS本身的供能需求。受到无线能量传输技术的启发,本文引入无线射频能量收集技术解决实际应用场景中的IRS供
学位