基于度量元学习的联邦小样本学习方法

被引量 : 0次 | 上传用户:meisck
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能的蓬勃发展依赖于大量的标记数据,但随着数据安全法律法规的出台,数据的采集和获取受到了极大的限制,这将影响人工智能相关应用的发展。解决该问题可以从数据和模型两方面入手。从数据方面,可以使用联邦学习方法,保证用户数据在不离开本地的情况下,训练共享的机器学习模型;从模型方面,小样本学习可以通过少量训练数据使得模型具有较高的泛化水平。联邦小样本方法结合了联邦学习和小样本学习的优点,它借助了联邦框架的隐私保护性,对分布在不同客户端上的独立小样本任务进行联合训练,目的是得到能快速适应新任务的小样本模型。但是,在具体设计实现过程中,还有以下挑战。首先,为了让低算力客户端能顺利参与联邦训练,目前的联邦小样本算法普遍使用复杂度较低的基于度量的元学习方法。但由于结构简单,也导致了基于度量的元学习方法对新任务的适应能力不足,进而影响预测准确率。其次,数据异质性问题会导致各参与方的局部优化目标和全局优化目标存在偏差,使得联邦小样本算法收敛困难,影响模型的泛化效果。最后,在联邦场景下,由于单个参与方上的数据类别更加相近,进而导致构建出的小样本任务更加困难。困难的小样本任务会加大模型学习难度,影响模型的泛化效果。为了应对以上挑战,本文提出了三种联邦小样本算法。主要贡献如下:1.针对传统的度量元学习方法对新任务拟合能力不足的问题,本文提出了联邦场景下的基于深度映射的度量元学习小样本算法。当前联邦小样本方法中常用的度量元学习方法对新任务的拟合能力不足,为了解决该问题,新算法使用孪生网络为标签数据构造复杂的对比关系,通过引入新的深度映射层,让模型对当前任务的样本度量空间进行自适应变换,使得模型在少量数据情况下能够明确不同类别之间的差异。本文通过实验说明该算法提升了预测准确度,验证了该算法的有效性。2.针对数据异质性导致的联邦模型难以收敛的问题,本文提出了一种联邦个性化的小样本任务训练算法。新算法调整了参与方的本地模型结构,将表示层拆分为学习全局知识的基础表示层和学习相似任务的深度表示层,通过“全局+个性化”的联邦更新方法,让每个本地模型学习全局知识的同时,也重视自身任务特点。相比于传统的全局联邦更新,个性化的联邦更新方式具有更强的抗异质性干扰能力,本文通过实验验证了新算法能够缓解异质性数据带来的收敛困难问题。3.针对联邦场景下的小样本任务往往更加困难的问题,本文提出了一种新的联邦个性化数据增强算法。本文提出的个性化数据增强算法,考虑到了不同类别之间的差异,将数据增强网络应用于个性化联邦,为各个参与方衍生出具有类别特征的增强数据,使小样本模型能获得更多差异较大的样本,降低小样本任务的难度,提升了模型对不同类别样本的学习与识别能力。最后通过实验验证了本文提出的个性化数据增强算法的有效性。总的来说,本文针对当前联邦小样本方法中的不足之处进行了研究和改进,提出了一种朴素联邦场景下的度量元学习小样本算法、一种联邦个性化的深度表征算法和一种联邦个性化的数据增强算法,最后通过大量实验验证了所提方法的可行性和有效性,该研究成果在联邦小样本领域具有一定的学术价值和应用价值。
其他文献
本文通过对A公司为提高员工思想所创新推出的“‘360度’员工思想动态管理模式”进行剖析,阐述实施背景与基本内容,分析存在的突出问题,然后对实际成效进行说明。该模式可以使员工树立以企业为中心的理想、信念、目标、追求和价值观念,实现县级供电企业健康和谐稳定发展。
期刊
新疆且末—若羌一带的和田玉,以带有黄绿色调为特征,针对该种和田玉的颜色成因和特性表征研究较少,影响了对这种和田玉的颜色和矿床成因的认识。本文利用电子探针(EPMA)、背散射电子图像(BSE)、X射线荧光光谱(XRF)、高分辨电感耦合等离子体质谱(HR-ICP-MS)分析技术对且末黄口料的矿物组成和化学成分进行测试,采用滴定法测试FeO含量,探究其颜色成因和成矿类型,并采用锆石SHRIMP U-Pb
期刊
有效开展思想政治教育工作,是国有企业永保生机与活力的“生命线”。在新时代的发展要求下,各个行业都应当反躬自省、深刻认识对员工开展思想政治教育的重要性。文章将国有企业作为研究对象,探讨了对国有企业员工开展思想政治教育的必要性,指出国有企业员工思想政治教育存在以下问题:对思想政治教育缺乏重视、对其重要性认识不足,教育形式单一,内容缺乏时效性。并针对上述问题提出了相应整改措施,以促进国有企业的高质量发展
期刊
<正>国有企业要落实高质量发展要求,不仅要靠改革和科技创新增强发展实力,更要靠思想政治工作凝聚奋进合力,特别是做好青年员工的思想工作,对企业各项事业发展有强大的促进作用。在庆祝中国共青团成立100周年大会上,习近平总书记指出,“新时代的中国青年,更加自信自强,富于思辨精神,同时也面临各种社会思潮的现实影响,
期刊
<正>为加强思想政治工作,进一步汇聚前进力量,柿竹园选厂对全厂干部员工的思想状况进行了调研分析。针对在调研中发现的问题,提出了改进措施。近年来,湖南柿竹园有色金属有限责任公司(以下简称“柿竹园公司”)下属生产单位柿竹园选厂高度关注员工思想动态,深入学习贯彻习近平新时代中国特色社会主义思想,实施思想铸魂工程,努力筑牢思想政治工作“主阵地”,打好“主动仗”,打造“新引擎”。为加强思想政治工作,进一步汇
期刊
<正>企业若想在激烈的市场竞争中保持发展优势,务必要重视员工的思想政治工作,全面提升思政工作质量。
期刊
良好的ESG信息披露质量不仅可以增强企业的声誉和信誉、吸引更多的投资者和客户,还可以提高员工的士气和忠诚度,有助于投资者更好地评估企业的长期价值。随着ESG投资的普及,ESG评级机构的数量和影响力也越来越大。然而,ESG评级乱象也逐渐显现:首先,不同的评级机构使用的评级标准不尽相同,导致同一家企业在不同机构的评级结果可能存在较大差异,让投资者难以确定真实的ESG表现;其次,ESG评级机构可能会受到
学位
政治认同是指社会公民在政治生活中对国家政治体系产生的一种情感和心理上的归属与信任,并在行为上做出与之相匹配的行为。政治认同反映了个人的政治站位是否正确,政治信仰是否坚定,也牵动着个人在政治生活中的一系列行为表现。在这个政治多元化、各种意识形态交织的时代,我国意识形态领域的建设也受到了一定程度的冲击,受西方意识形态渗透的影响,个人主义、极端主义等思想开始冲击人们的核心价值观,使我国公民一时难以对诸多
学位
磷石膏作为湿法制酸过程中排放的大宗固体废弃物,由于赋存F、P等有害元素而限制了其二次回收利用,进而产生了占用土地、破坏地表环境、污染地下水等安全环保问题。充填采矿法凭借其在治理地压、处置固废、提升采矿作业安全方面的卓越优势得到广泛应用,因此考虑借助充填采矿法来缓解磷石膏堆存所带来的一系列安全问题,并实现地下矿产资源的高效回采。磷石膏充填体中的毒害元素尤其是氟化物的浸出风险,成为限制磷石膏胶结充填推
学位
近年来,在一些化妆品原料或其提取物中发现了黄体酮,但该物质为化妆品中的禁用物质。基于此,本文对黄体酮的安全性评价研究进行综述,包括急性毒性、皮肤刺激性、皮肤致敏性、遗传毒性、重复剂量毒性、生殖发育毒性、慢性毒性、致癌性及人群安全资料,为我国相关部门对化妆品中黄体酮的监管提供参考依据。
期刊