基于张量分解的联邦学习算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:AceAcer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的发展和人工智能的普及,网络中的边缘设备数量呈指数式增长,这些设备每时每刻都在产生大量的数据,对这些数据的分析和利用有利于信息化的发展。然而,传统对这些数据集中化处理的方法通常伴随着庞大的存储问题和复杂的计算问题。首先,庞大的数据量对网络传输能力要求较高,且会带来网络时延等问题,因此将数据处理从云端下沉到边缘端的趋势无法避免;其次,随着企业及用户对个人隐私意识的不断增强,使其对个人数据的保护更加重视,信息不愿互通,“信息孤岛”问题逐渐出现,无法充分挖掘数据的有效信息;最后,海量的数据通常具有多样性,使得对这些异构数据的统一处理较为复杂,对数据的利用率较低。针对上述问题,本文通过引入深度学习中的联邦学习框架,将复杂的计算问题下沉到边缘节点,过程中无需本地数据的传输,在保护个人隐私的前提下冲破“信息孤岛”问题。一方面,针对联邦学习过程中的模型参数压缩进行了研究,减少联邦学习过程中带来的通信成本问题和网络时延问题;另一方面,对数据的多样性问题进行处理,提出一种基于张量分解的数据融合方法,解决联邦学习框架下数据的融合处理与分析问题。本文的主要研究内容如下:(1)针对联邦学习中的所需传输的模型参数量大等问题,引入张量分解理论,提出了一种基于Tensor-Train分解的梯度压缩算法。针对联邦学习中由于模型传输过程所带来的参数存储问题和传输时延问题,利用张量分解理论,将传输模型的高维权重张量映射到低维核心张量空间,完成对传输模型的有效压缩。本文使用真实数据集对所提出方法进行仿真,并与现有的模型压缩方法进行了比较。实验结果表明,在联邦学习框架下,本文所提出的方法与其他方法相比,能够实现更好的模型精度和更高的模型参数压缩率。(2)针对联邦学习中的多源异构数据融合问题,引入张量分解理论,提出了一种基于Block-Term分解的数据融合算法。通过将各种数据特征进行张量融合的方式进行交互,同时将融合记忆空间通过Block-Term分解将其替换成多个核心张量的形式,能够实现多源异构数据的有效融合,并减小所需融合空间的大小,降低存储空间。实验结果表明,所提出的算法在单节点情况下有较好的模型性能,在联邦学习中也能有效解决多源异构数据的融合问题。
其他文献
近年来,高清视频监控得到了广泛应用。对视频中人体的异常行为进行自动识别可切实有效地保护人身及财产的安全,因此具有重要的应用价值。常见的人体异常行为识别方法主要通过提取运动目标的特征来进行建模。然而,实际监控场景存在背景复杂、运动目标数量不固定、异常行为的定义与具体的应用场景有关难以统一界定等各式各样的问题,增加了对人体异常行为识别的难度,使人体异常行为识别成为具有挑战性和研究意义的任务。本文设计一
学位
语义分割作为计算机视觉领域的热门研究课题,目标是对图像中的每个像素点进行正确分类。然而,现有的分割数据普遍存在像素分布不平衡的问题,即类别间的像素分布呈现“长拖尾”现象。这将导致训练模型仅在极个别样本集中的类别上表现突出,而大多数类别性能欠佳,整体精度受限,严重阻碍了多分类分割的应用化进程。本文首先针对普通场景语义分割中的像素分布不均问题开展研究,提出了一种基于数据层面和算法层面的非均衡数据分割方
学位
近年来,随着民用无人机技术的不断发展,无人机的应用场景越来越广泛。围绕无人机的组合导航算法,众多研究者进行了深入研究,并取得了诸多显著成果。然而,目前大部分无人机系统在工作时仅采用GPS全球定位系统实现自定位。当无人机位于高层障碍物附近,或位于强电磁干扰区时,GPS信号可能丢失,从而导致无人机定位信息失效。因此,急需一种能够在无GPS信号条件下可靠、实时、稳定、高精度地为无人机提供定位数据的无人机
学位
量子点(quantum dots,QDs)具有优异的光电特性、可靠的光稳定性以及普遍较高的荧光量子产率,兼具高性能和低成本的量子点在光学防伪标签领域具有广泛应用前景,是一种理想的发光防伪材料。本文根据使用的不同量子点材料的特性,采用了喷墨打印、丝网印刷和光刻工艺分别对量子点墨水、量子点粉体和原位合成的钙钛矿量子点制备的薄膜进行了图案化处理,并对图案化的薄膜的形貌结构、发光特性进行了表征,实现了不同
学位
随着科技的高速发展,自动驾驶技术与高级辅助驾驶系统成为了各国研究的热点,车道线检测则是自动驾驶技术与高级辅助驾驶系统的重要组成部分,具有许多值得研究的问题。由于不同复杂交通场景之间差异较大,拥挤场景会出现车道线被遮挡,光照条件不好会造成车道线模糊等问题,使得现有的车道线检测方法在实际应用时,存在准确性与鲁棒性等方面的不足。针对以上问题,本文在福建省与福州市重点科技项目(2018H0018,2020
学位
超分辨率简称超分,是计算机视觉中的经典任务,其目的是重建低分辨率图像中丢失的高频信息。在过去几十年间,我们见证了超分技术快速发展的历程。特别是深度学习技术的进步,极大地促进了超分领域的发展。目前,超分技术被广泛应于众多领域中。尽管如此,基于深度学习的超分模型需要配对的高—低分辨率图像对来进行训练。然而,在真实世界中,这样的配对图像通常存在获取难度大、获取成本高的问题。为解决这个问题,研究者们通常利
学位
近年来,卷积神经网络被广泛应用于各个领域。为了提高网络的性能,研究者们通常会加深或加宽网络。然而,网络性能在提高的同时,网络整体的计算量和参数数量也在快速增加,这极大阻碍其在资源有限的移动端上的应用。二值化是解决上述问题的一种较好的方法,但由于二值化直接将网络的权重和卷积层的输入特征映射为1bit数据,造成网络精度的大幅下降,导致其难以投入实际应用。基于此,本文在Res Net-18网络结构的基础
学位
随着现代社会空气污染日益严重,肺部组织疾病已成为发病率和致死率最高的疾病类别之一。肺部CT能提供毫米级别的高分辨率薄层影像,通过准确、高效地分割肺部组织结构以辅助肺部疾病的诊疗,已经成为当前的研究热点。本文重点研究肺气管和肺叶的分割。肺气管与肺叶的自动分割与重建不仅能帮助放射科医生定性、定量地评估肺部疾病,还能为肺癌手术的术前规划、术中导航和术后评估等提供有效的参考,省时省力,具有重要的临床价值。
学位
图像超分辨率技术以低分辨率图像为基础,通过推断图像像素值,重构图像的细节信息,以提升图像中目标物的分辨率,从而带给人们更多的视觉信息,为用户提供更好的视觉质量。随着人们对图像清晰度要求的提高,图像超分辨率已成为计算机视觉和图像处理领域的研究热点。然而,当前众多的图像超分辨率算法的性能评估暂无统一标准,目前仍以传统的全参考图像质量评价指标为主要评估方式。但由于超分辨率图像与其参考图像的像素点对应不严
学位
随着国家经济与科技水平的快速发展,人民生活质量逐步提升,具体表现之一就是城市内的机动车数量日益增加。但是,问题也随之而来包括常见的交通堵塞、交通噪声、尾气污染等,且这些问题正日益严重。智能交通系统在解决交通问题上具有显著的效果,正因如此它越来越受到交通管理部门和出行者的信赖。其中,准确稳定的交通流预测可以为交通管理部门提供未来时刻可靠的交通参考数据,从而对交通规划和交通疏导提供有效的建议。然而,现
学位