面向数据的联邦学习研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:waiwai123456789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能设备的广泛运用,包含用户信息的数据不断涌现,基于大数据的人工智能技术有了质的飞跃。但是机遇与挑战并存,人工智能技术利用数据为各行各业带来增益的同时,用户隐私数据泄露的问题也随之出现。因此联邦学习应运而生,这是一种特殊的分布式机器学习框架,它能够联合多客户端训练的同时保护数据隐私,因为客户端的数据不需要离开本地。这样的学习框架为人工智能技术面临的挑战提供了解决方案。本文针对现有联邦学习的缺点进行改进:(1)针对规则数据的非独立同分布问题,本文提出了一种带有高级辅助分类器的深度生成对抗网络作为预训练模块。因为非独立同分布增大了各局部模型参数离散程度,导致联邦学习难以聚合出优秀的全局模型,而本文提出的预训练模块能够深度挖掘隐藏特征,增加模型参数之间的关联性,缓解了非独立同分布问题;针对经典联邦学习算法容错性低的问题,本文提出了一种基于联邦卡尔曼滤波的联邦学习框架。因为经典联邦学习中的平均聚合算法,不能识别带有噪声的模型参数,而本文利用联邦卡尔曼滤波的思想,提出了一组个性化的自适应置信度,以此提高联邦学习容错性。(2)面向非欧氏空间数据。本文提出了一种基于图卷积神经网络的联邦学习框架。因为现阶段存在较少能够处理非欧式空间数据的联邦学习算法,于是本文设计了一种高效的图卷积神经网络,来赋予联邦学习处理非欧氏空间数据的能力。针对常规联邦学习算法对于各局部模型参数仅仅做了平均化处理,过于粗糙。本文提出了基于注意力机制的聚合算法,为各局部模型分配适宜的系数后再进行全局模型聚合。本文主要提出两种联邦学习框架,分别用于处理规则数据和非欧氏空间数据。本文提出的联邦学习框架能够降低噪声数据和非独立同分布性带来的损害,提高处理非欧式空间数据的能力,并通过实验证明本文联邦学习框架的有效性。
其他文献
热带大气低频振荡是热带地区一个十分重要的大气信号,其活动及异常对热带地区乃至全球的天气和气候异常都具有重要影响。本文利用1980~2009年NCEP/NCAR逐日再分析资料和由美国国家海洋及大气管理局(NOAA)提供的OLR资料以及1981~2009年第二代最优插值的全球海表温度(SST)资料,采用功率谱分析、小波分析、时-空谱分析、Wheeler-Kiladis时--空交叉谱分析、时滞相关分析、
在室外卫星信号稳定的环境下,无人机通过使用GNSS定位系统可以执行物资配送、街头巡逻等自主飞行任务。但是在一些室内或者周围建筑较为复杂的环境下,无人机的飞行主要还是依靠专业的飞手进行操作。因此,设计出在多种环境中均能实现定点悬停以及自主飞行的无人机控制系统可以满足无人机发展的需求,这对提高无人机飞行的安全性以及应用领域的拓展具有重要意义。本文对实验室自主研发的飞控系统进行改进,设计一种基于多传感器
国家管辖范围以外区域海洋生物多样性(BBNJ)养护和可持续利用的国际谈判行将进入政府间谈判第四次大会,这也是各国预计将达成协定的关键阶段。各方在BBNJ国际协定谈判中尚面临一些难以解决的重大挑战,能否解决这些挑战将直接决定BBNJ国际协定能否达成。作为人类命运共同体在海洋领域具体体现的海洋命运共同体理念,可以引导BBNJ国际协定谈判并克服目前谈判中所面临的主要挑战。海洋命运共同体理念的内涵及其海洋
以面向雷电预报的雷达、卫星遥感资料同化及其应用为研究目的,利用NCEP资料、新一代多普勒雷达网、FY2C气象卫星、闪电定位仪网、自动气象站等观测资料的诊断、同化模拟以及理论分析等方法,对气象遥感资料的同化设计及其在雷暴天气条件下雷电预测方面的应用进行了综合研究和初步分析。主要得到了以下结论:1)雷达资料间接同化方面:以夏季暴雨为研究对象,用MUSCAT技术做双多普勒雷达风场反演资料的间接同化,与非
文本分类是自然语言处理领域中最重要的任务之一。在信息爆炸的大数据时代下,海量文本信息源源不断地产生并推送到人们手中,但人们通常只需要自己感兴趣的信息,因此,对海量文本信息做好分类管理至关重要。本文着重以深度学习方法为基础,围绕当前文本分类模型存在语义信息、标签信息以及对中文文本表示上考虑不全面的问题展开研究,面向不同类型的文本分类任务构建高效且适用的分类模型,以期提升文本分类精度。本文的具体创新与
随着社会医疗卫生水平的提高,不断上升的疫苗需求量导致疫苗冷链配送问题面临极大的挑战。配送过程中的大量碳排放将污染大气环境,因此需要对配送车辆的路径进行合理规划,使配送方案在满足人们疫苗需求的同时,降低运输成本和对环境的负面影响。烟花算法作为一种群智能算法,结构简单,求解效率较高,适用于求解物流路径优化这类NP-hard问题。基于上述背景,本文对多目标烟花算法及其在低碳疫苗冷链配送问题中的应用进行研
近年来,随着深度学习的迅猛发展,超分辨率重建技术得广泛关注。与此同时,随着注意力机制在图像分割、检测等领域大放光彩,研究者也逐渐将注意力机制引入超分辨率方向,并取得了众多显著成果。本文基于注意力机制对超分辨率重建在单一图像和视频方面进行探索性和创新性的研究,并取得了以下成果。针对目前超分辨率网络存在着通道权重的预测破坏了每个通道与其权重的直接对应关系的问题,以及现有网络仅仅只考虑一阶或二阶通道注意
自动分割出CT图像序列中的肾脏及肿瘤目标可为医生在临床诊断中提供定量的诊断依据,当前基于深度学习的三维分割技术得到了广泛的研究,然而由于CT图像中肾脏及肿瘤目标形状复杂多样,且存在着肿瘤目标小、样本数少等问题,现有的三维分割网络并不能很好的分割出肿瘤等小目标,如何准确分割出肾脏肿瘤仍是一个富有挑战性的问题。同时当前的三维深度分割网络模型大、参数多、且对计算机硬件要求高,这也给模型在实际部署中带来巨
在我国基础设施建设不断发展的今天,公路建设作为基础建设中重要的环节之一,也得到了飞速的发展,但伴随而来的道路养护问题。道路养护的首要环节是检测路面损坏,其中,道路裂缝是在路面检测过程中最为常见的路面病害类型之一。论文以道路裂缝作为研究内容,采用深度学习的语义分割算法来检测道路裂缝,围绕路面裂缝图像的预处理、裂缝检测算法以及裂缝的定量分析展开研究。首先,对采集到的裂缝图像进行滤波操作,同时结合裂缝图
车辆检测和车型识别是智能交通领域中的重要研究内容。随着人工智能技术的发展,在智能交通领域运用深度学习解决车辆检测和车型识别问题已经成为一种研究趋势。本文基于深度学习方法对车辆检测和车型识别进行了研究,主要研究内容如下:(1)针对目前车辆检测数据库较少的问题,本文选择南京信息工程大学周围的交通环境作为研究背景,从样本的拍摄采集、正负样本及模糊样本的筛选和标签标注等方面详细介绍了本文构建的车辆检测数据