联邦学习的个性化任务学习与用户选择策略研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:iqplll
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习(Federated Learning,FL)是一个适用于移动计算中保护隐私的协作学习框架,其核心思想是在联合训练模型时,参与训练的多方用户设备无需上传原始数据,只需上传自身模型。在FL中,用户设备和服务器之间的通信成本优化问题受到学术界的广泛关注。本文将结合多任务学习、量化压缩、机器学习优化算法、自适应调整等对FL的个性化任务学习和用户选择策略进行研究,主要工作包括:(1)提出一个多项个性化任务协作学习框架,优化FL的整体通信成本。现有的FL框架大多针对每个用户仅学习单项任务的场景,然而每个用户在移动设备上通常有多项相关且与用户本身数据关联度极高的个性化任务,例如多内容推荐。利用传统的FL框架进行多项个性化任务学习时,需要针对每项任务单独训练模型,消耗大量的通信资源。为此,本文提出一个面向多项个性化任务的联邦学习问题,其目标是在每个用户学习多项个性化任务时最小化整体通信成本。特别地,我们将多任务学习与FL相结合,通过每个用户训练一个模型的方式同时学习多项个性化任务,并提出协作学习框架。该框架根据多任务学习的特性修改加速收敛算法和量化压缩策略,在保证模型精度损失极少的情况下获得更优的通信效率。最后,基于真实数据集的实验结果表明本文提出的框架具有良好的性能。(2)提出一种自适应用户选择算法,在满足全局模型精度的前提下降低通信成本。较多FL研究工作关注如何在约束条件下最大化每轮通信选择的用户数量,这些方法通过加快全局模型收敛速度降低通信成本,并且把各个用户当前模型的损失值作为用户选择的标准,但忽略了用户本地训练的局部收敛速度更能衡量当前的训练进展。考虑到该因素,本文提出了一个在满足模型精度的前提下最小化通信成本的FL问题。为了解决这个问题,我们提出自适应用户选择算法,在不影响全局模型收敛的前提下,通过每轮自适应选择少量但收敛速度更快的用户参与聚合,从而有效提高通信效率,并且自适应调整本地训练参数和调整全局模型聚合的方式。最后,基于真实数据集的实验结果表明本文所提算法的高效性。
其他文献
学位
动作识别在人机交互、视频监控、医疗护理等领域有着广泛的应用前景。骨架序列是一种简洁的动作表示,是动作识别算法的重要数据形式。骨架动作识别任务的主要难点在于人体运动模式的复杂性导致较大的类内差异性。例如由于个人习惯的不同,不同的人执行同一动作存在着一定的差异,即使同一个人在不同时间或地点做同一种动作也不完全相同。另外,观察角度的变化可能对动作识别的准确性产生负面影响,且关节坐标估算也存在一定误差。为
学位
随着时代的发展,产品生产正朝着品种多样,个性多变,更新换代加快的方向发展。传统的机器人示教方法在新的制造模式下难以满足要求。因此,高效、自然、适应性强的基于人体体势的示教技术成为研究的热点。本文提出一种基于人体三维体势的机器人自适应示教再现方法。为避免基于红外光测距的人体三维重建存在人体姿态局部深度空洞,导致空间位置示教错误问题,本文利用人体关键点在同一时刻两个相机中形成的视差,对人体姿态进行三维
学位
人脸表情识别是计算机视觉的一个热点研究方向,该技术可以被广泛地应用于人机交互、疲劳驾驶检测、医疗、安防、教育等领域。随着深度学习的出现和发展,卷积神经网络已经更多地被应用于人脸表情识别领域。相比于传统特征提取方法,深度学习方法能够提取图像高层语义特征,获取有表达力的特征,从而达到更高的表情识别准确率。然而,目前已有卷积神经网络表情识别方法多有参数量大、计算成本高的问题。针对卷积神经网络的不足,本文
学位
高速公路上的烟火、非机动车和抛洒物事件,极大地影响了行驶安全。目前高速公路监控中心的工作人员需人工值守监视器,人为发现交通事故和危险隐患,无法通过有效的监控手段对海量外场设备的运行情况进行实时地监控与跟踪。当前对高速公路异常事件的检测方法,在检测准确率和检测速度方面有所欠缺,离实际应用还有一定距离。本文针对高速公路实际情况,研究和实现了高速公路烟火、非机动车和抛洒物事件检测算法。本文的主要内容如下
学位
持续安全是民航强国建设的三大核心之一。探索并总结中国民航保持长周期安全运行记录背后的成功经验,确定影响民航持续安全运行诸多因素中的关键成功因素,通过对关键少数因素的管控,不但能够促进行业持续安全运行,同时能够更加高效的配置资源,提升管理效率。首先,明晰了持续安全关键成功因素的内涵,基于扎根理论的三级编码过程对民航行业专家的调研访谈记录、近十年中国民航安全工作报告、民航企事业单位安全工作报告、民航的
学位
可控飞行撞地事故是仅次于飞行失控事故的第二大致命事故类型,常常造成机毁人亡的严重后果。因此,被国际民航组织认为是导致商用飞机机体坠毁及人员伤亡事故的“头号杀手”。当前常用的单一事故分析模型难以全面识别事故致因,因此需要利用系统分析模型,并辅以人为因素模型进行补充,识别出导致可控飞行撞地事故发生的危险源及其关键风险,同时对关键风险提出相应的干预措施进行风险管控。首先,构建了基于系统理论的致因分析方法
学位
广域信息管理系统(System Wide Information Management,SWIM)是下一代空中交通管理(Air Traffic Management,ATM,简称:空管)系统的基础信息网络,负责海量多源异构空中交通管理业务数据的传输和共享。其中,SWIM基础设施层采用全新互联网架构—信息中心网络(Information-Centric Networking,ICN),根据命名数据网
学位
随着卷积神经网络的快速发展,面向真实场景的目标检测技术已得到了广泛研究。尽管当前基于深度学习的目标检测算法取得了显著效果,但是检测模型的有效训练通常需要大量有标签数据。相较于通用场景目标检测,密集场景与医学场景下的特定检测任务对数据的标注有更为严格的要求,因此标注的获取更为不易。为了利用无标签数据进行学习以减轻对有标签数据的依赖,本文探索了两种特定场景下基于半监督学习的目标检测算法。(1)针对密集
学位
随着经济与社会的发展,在大数据时代,全局优化问题将会变得越来越复杂,具体表现为优化问题维度(优化变量)的急剧增加,这类问题被称为大规模优化问题(LargeScale Optimization Problem,LSOP)。传统的进化计算(Evolutionary Computation,EC)算法在求解LSOP时很容易过早地陷入局部最优而导致性能急剧下降。因此,如何设计和改进EC算法来高效地求解LS
学位