基于数据生成的高效联邦学习研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:liqiuru1025
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人工智能技术得到了飞速发展,在许多具有挑战性的任务中都取得了重大进展。这一系列进展背后的关键因素之一是海量数据的收集与利用。然而,在实际场景中,由于数据安全、隐私保护和法律约束等因素,数据的收集和使用通常面临极大限制,严重制约人工智能技术的应用。为解决上述问题,联邦学习应运而生,旨在通过构建协同训练机制,在不共享各客户端数据的条件下,训练高性能全局模型。作为一种新型的分布式机器学习范式,联邦学习对充分发挥大数据的潜力以及推动人工智能技术的发展具有十分重要的意义。然而,在实际应用中,联邦学习尚面临如下问题:1)客户端的数据往往类别不均衡且各客户端之间的数据分布差异巨大,使得全局模型难以训练;2)各客户端需要与中央服务器进行频繁的通信以共享其高维本地模型参数,导致通信开销高,难以应用于实际场景。为解决上述问题,本文提出了相应的解决方案,做出了如下贡献。针对客户端数据类别不均衡且分布差异大的问题,本文提出了一种基于数据生成的类别均衡联邦学习算法。该算法通过数据生成技术,针对各客户端构造符合全局模型学习的类别均衡数据集,从而获得高性能全局模型。实验表明,本文方法可大幅提升联邦学习性能:如在CIFAR-100数据集上,与现有方法相比,本文方法将Res Net20模型的分类准确率提高了5.82%。针对通信开销高的问题,本文提出了一种基于数据生成和集成蒸馏的一次联邦学习算法。该算法先通过集成各客户端的本地模型获得性能更优的集成模型,然后设计有效的数据生成方法和知识蒸馏机制将集成模型的知识迁移至全局模型,从而在一轮通信的条件下高效提升全局模型性能,使得通信开销大大降低。例如,与经典的Fed Avg方法相比,本文方法的通信开销减少了2/3。
其他文献
飞行员作为民航事故中危险的直接面临者,其能力水平将直接影响飞行安全。因此,构建可靠的飞行员能力测评方法,在保障飞行安全的过程中起到至关重要的作用。飞行员在驾驶过程中的操作水平和安全绩效受多种能力影响,已有研究证实,在由人为失误导致的飞行事故(征候)中,绝大多数涉及空间感知、信息处理、合作交流等因素。故本研究聚焦于非技术性能力维度,探究与飞行员能力水平相关的测评指标及方法,并以此为基础开发飞行员能力
学位
本文通过对锂离子电池热失控过程的产热情况进行建模仿真,定量分析了热失控过程中锂电池自身产热和热解气体燃烧对锂电池热失控传递的影响,为锂离子电池航空运输安全性分析提供理论基础。以100%荷电状态的18650型锂离子电池为研究对象,首先基于火焰高度估算热解气体燃烧热释放速率,建立了受限空间内锂离子电池热解气体燃烧的产热模型,模拟受限空间内热解气体燃烧导致的环境温度变化并进行验证。其次以阿伦尼乌斯公式为
学位
强化学习以其优秀的序列决策能力,吸引了众多研究人员的关注。近年来,结合了深度学习技术的深度强化学习在众多领域都取得了突破性的进展。然而,深度强化学习算法常常因为采样复杂度过高的问题,无法广泛应用在现实环境的任务中。模型化强化学习通过构建环境模型,能提高样本利用率,有效降低采样复杂度。但是构建环境模型存在的误差会影响到策略的优化,最终影响算法性能。基于不确定性探索的方法利用环境的不确定性信息指导策略
学位
目标检测是计算机视觉领域的基础研究方向,其主要目的是区分与定位目标,广泛应用于自动驾驶,视频监控,机器人视觉等。随着深度学习的发展,目标检测的性能大幅度提升,但目标误分类问题仍是巨大的挑战。据分析,其主要来源于三个方面:其一,类别分布不平衡,数据采集于实际场景,由于类别出现的概率各异,数据集往往会出现长尾分布,而不平衡的分布及部分类别样本的稀缺使模型无法学习到充分的特征表达,影响模型性能;其二,类
学位
锂离子电池具有能量密度高和无记忆效应等优点,被广泛应用于消费电子产品、动力能源和航空产品等。然而,火灾和爆炸等安全问题对其大规模应用形成阻碍。尤其在航空运输事故中,锂离子电池会在热失控阶段释放有毒物质和可燃气体,从而对所处的客舱、货舱或隔间等环境造成燃爆危险。本文主要以市场上大规模商用的18650锂离子电池为研究对象,基于锂离子电池热滥用实验平台,探究不同荷电状态(SOC)电池的热失控过程和燃爆特
学位
随着复合材料结构在航空、汽车等领域中的大量应用,复合材料与金属连接问题不可避免,异质材料连接逐渐成为工程应用的关键技术之一。相较于传统的机械连接,胶粘连接能够获得光滑的气动外形、降低结构重量,实现载荷在复合材料与金属材料之间的有效传递。然而在实际服役过程中,复合材料胶接结构在冰雹、碎石以及维修工具等冲击下容易产生被胶接件脱粘、层合板分层等内部损伤,从而严重影响胶接结构的力学性能。此外,对于航空航天
学位
民机客舱火灾人员逃生的研究受限于安全性、经济性、环保性等因素,利用计算机仿真软件可更安全便捷地模拟客舱发生火灾时的人员逃生过程,分析舱内火灾在不同时段内各因素对人员逃生过程的影响,从而提出可行性建议。首先分析了影响客舱火灾人员逃生的各类因素,主要为客舱环境、火灾产物、客舱人员三大类,为后续模型的建立奠定基础。接着使用火灾模拟软件Pyro Sim建立C919的客舱火灾模型,假设发生燃油泄漏火灾,设定
学位
命名实体识别(Named Entity Recognition,NER)是自然语言处理的任务(Natural Language Processing,NLP)之一,目的是检测出文本中的实体并且将其划分至预定义的类别中,可以实现自动化地从文本中挖掘有价值的信息,在不同自然语言处理下游任务中充当着非常重要的基础模块。基于深度学习的命名实体识别技术依赖于大量的人工标注数据,为了减少人工标注成本,可利用通
学位
静态航行情报资料的内容涵盖了空域、管制、航路、机场等空中航行所必需的信息,制作过程包含收集、审核原始资料数据、文字编辑和制图、多级校对等多个环节,每个环节中文字、数据处理的差错都可能会传递到下一环节,造成差错的传递和积累,而目前我国情报服务部门所制作的航行情报资料也确实一直存在着编辑差错、内容格式不规范、发布不及时等问题。因此,从静态航行情报资料制作过程出发,研究静态航行情报资料制作质量安全绩效,
学位
锂离子电池以其高能量密度、高环保、高循环寿命等优点,在各个领域广泛应用。然而,锂离子电池在长期的充放电循环过程中由于锂枝晶、机械滥用等客观诱因,可能会触发热失控而产生大量有毒或高度可燃性气体,导致后续剧烈的火灾或爆炸。因此,实时分析热失控气体对锂离子电池热失控早期预警、安全性评估和安全管理等具有重要意义。针对上述挑战,本文以气体拉曼光谱技术为核心,开发锂离子电池热失控全过程的气体原位在线检测方法,
学位