基于图神经网络的分层联邦推荐算法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:yolandaguyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,推荐系统作为一种可以满足用户个性化需求的技术,受到了广泛的关注与研究。大规模且高质量的数据对推荐系统的发展至关重要,机构和企业通过数据共享提升推荐准确率,但这种方式存在着数据隐私安全的问题。与此同时,用户保护自身隐私数据的意识逐渐觉醒,相关法律法规也日益完善,如何在保护数据隐私的前提下调度多个参与方共同训练推荐模型是亟需解决的问题,具有重要的研究价值和应用前景。近年来,面向隐私保护的联邦推荐系统研究有一定成果,但仍存在如下挑战:参与方数据本地特征提取不充分导致模型准确度不高;中央服务器聚合未关注到重叠数据以及对隐私数据未区分等级;中央服务器面临的通信和计算压力以及不可靠的客户端限制了联邦推荐模型的性能。针对上述问题,本文融合图神经网络(Graph Neural Network,GNN)、联邦学习(Federated Learning,FL)、分层半异步调度这三者的优势,提出了基于图神经网络的半异步分层联邦推荐系统。具体研究工作如下:(1)提出了基于图卷积神经网络(Graph Convolution Network,GCN)的联邦推荐方法。首先,针对特征提取不充分的问题,采用图卷积神经网络技术构建联邦学习框架下客户端本地训练的模型,它挖掘了客户端上用户和项目转化为二部图后的高阶空间特征以及节点信息。其次,针对信息敏感差异性,即用户的信息相对于项目的信息有着更高层次的隐私保护要求,训练中的用户嵌入矩阵仅保留在本地。针对参与方存在着重叠项目数据的问题,本文设置了全局的项目存在向量和映射表,使重叠项目转化的嵌入矩阵可以进行特定聚合。因此,通过提出在联邦学习的框架下训练基于图神经网络的推荐算法,满足了保护数据隐私的要求,拓宽了本地数据的应用,达到多方参与互利共赢的目的。(2)提出了基于半异步的分层联邦推荐方法。首先,针对单中央服务器结构和同步调度上的性能瓶颈,引入边缘服务器来解决云端中央服务器的通信压力与计算压力,形成分层联邦的架构,并设置全局同步聚合周期,优化全局参数。其次,针对不可靠客户端提出了半异步的调度更新方式,在半异步周期完成当轮训练的客户端可以在边缘服务器上进行同步聚合,未完成的则异步式继续本地训练,并设置客户端落后可容忍参数,避免模型因聚合与全局版本差较大的参数而发散,保证整体的训练效果与进度。同时,改进了边缘服务器上的聚合算法,根据客户端参与训练的次数设置权重,提升边缘服务器组内的推荐准确率。(3)在公开数据集上,从推荐性能和参数敏感性等方面进行了充分的实验分析论证。实验结果表明基于图卷积的联邦推荐算法保证了本地隐私数据不离域,同时提高了各参与方本地模型的推荐准确率,平均绝对误差指标最多降低了2.13%。本文改进后的聚合算法预测精度优于未关注到数据重叠的联邦聚合算法。基于半异步的分层联邦推荐方法通过增加边缘服务器来缓解中央服务器的压力,使用半异步的调度缓解了不可靠客户端拖累全局训练进度的困境,优化了中央服务器的调度能力。本文方法相较于同步和异步调度算法,有着更高的预测精确率;运行时间开销方面,相较于同步调度算法缩短了49.62%的训练总耗时,降低了26.13%的客户端闲置率,提升了模型的运行效率。
其他文献
随着北斗系统的逐步应用,海上渔船定位数据越来越丰富,基于多源数据协同监控成为船舶监控系统(Vessel Monitoring System,VMS)的重要研究方向和发展趋势。针对传统VMS多源数据利用率低,不能有效协同多源信息精准监控渔船状态的问题,本文设计基于多源数据协同作用的渔船监控系统。该系统既可关联多源轨迹识别目标渔船也可基于轨迹识别渔船作业类型,进而实现海上渔船状态的精准监控。其主要内容
学位
随着人口老龄化加剧,老年抑郁(Geriatric depression,GD)正成为一个全球重大公共卫生问题。经颅磁刺激(Transcranial magnetic stimulation,TMS)是一种已被证实治疗成年人难治性抑郁症的有效干预手段,但TMS对GD疗效仍不清楚。这篇综述提供了TMS治疗GD一些新观点,探讨了TMS应用临床治疗GD的可行性。
期刊
随着深度学习技术在人工智能各个领域的快速发展,深度神经网络(Deep neural network,DNN)模型日益复杂,数据集规模不断增大。在单机单卡环境下的DNN模型训练速度已经无法满足日常的研发需求,因此研发人员开始将DNN模型训练过程逐渐转移到多机多卡环境下使用多个计算设备进行并行训练,从而加快DNN模型训练速度。分布式深度学习(Distributed deep learning,DDL)
学位
<正> 前言目前,酸度对雨水水质的影响已引起人们的关注。pH值则是衡量雨水水质及雨水酸度的主要指标。由于雨水的采集方法及分析平均值的计算方法各有不同,这佯,雨水的平均pH值也有所不同。至今日本还没有一个在同一标准下计算各地区雨水pH值的统一方法。在探讨雨水平均pH值计算方法的同时,此文将以计算结果为依据,推断一下日本各地区雨水的年平均pH值及其分布情况。
期刊
近年来,室内可见光定位系统发展迅速,其定位精度高,部署和维护成本低,有丰富的频谱资源并且可以工作在电磁敏感的场所,因此具有实现室内外定位服务一体化无缝切换的潜力。基于上述原因,室内可见光定位系统成为了室内定位问题的研究热门。本文研究了室内环境下基于光电二极管的可见光定位系统,利用偏振光实现了可移动物体的定位机制,丰富了可见光定位系统的定位技术手段,拓展了其应用场景。因定位精度高和功耗低的优点,基于
学位
随着人工智能的不断发展,文档图像的分析和识别技术被广泛应用于教育行业。目前,大多数文字识别技术能够较好地处理语文或英语等结构相对简单的文档。但是,对于数学类文档,由于其内部存在着复杂的数学表达式,其精准识别仍然是具有挑战性的难题。针对数学文档的自动分析与识别全流程,本文基于深度学习技术构建了一系列文档图像增强、分析和识别的算法。具体而言,本文的主要研究内容包括如下三个部分:(1)本文提出了一种基于
学位
学位
<正> 酸雨是当代世界上面临的主要环境问题,并已成为人们普遍关注的公害之一。近年来,我国各地区对大气污染和降水化学成分的分析表明,我国南方地区酸雨出现的频率大大高于北方地区。由于城市工业区排出的二氧化硫、氮氧化物等污染物,不只污染城市空气,而且可随着气流输送到很远的距离。加之污染物可以作为凝结核,在云滴、雨滴形成的时候,就可能具有酸的因素。云内的成雨过程,以
期刊
随着教育科研人数激增以及学术活动的多样化发展,网络中文献的数量庞大且增长迅速,因此各种在线学术平台相继构建。发表、检索和阅读学术文献是学校科研、教学、管理和交流工作的重要组成部分,学术平台也逐渐成为智慧校园建设的重要基础平台。在高校中,重名人员日益增多,这些大量重复的姓名会极大降低学术平台中文献检索的效率,并且可能检索出错误的数据,给高校知识图谱的构建带来极大不便。姓名消歧系统凭借维护成本低、检索
学位
随着人工智能和深度学习技术的发展,复杂场景下的文本检测识别技术逐渐成为计算机视觉的热门研究领域。在工业运输环境中,员工需要驾驶叉车运输货箱到达指定仓库,而由于人工原因经常会出现错看货箱编码、漏送货箱等情况,导致运输效率低下。因此本文从复杂场景下的文本检测识别技术入手,通过文本检测识别技术识别货箱上的编码,从而帮助员工更清晰、更直观地了解货箱编码。此外,在实际工厂环境下,存在光线昏暗、文本不规整、设
学位