基于伪标签标注的元学习方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:originalwinter
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习研究与技术的迅猛发展,有标签分类任务在很多领域已经取得了巨大成功,例如在图像分类、目标检测、文本识别、语音识别、视频识别等领域。性能优异的分类模型的训练往往需要借助大量有标签数据来完成。然而,在一些领域,获取有标签数据是极其困难甚至不可能的任务,比如医疗影像、军工数据等。这种训练样本稀缺的机器学习场景就是小样本学习,其目标是在当前任务中仅使用有限数量的训练数据来训练得到性能优异的模型。模型无关的元学习(Model-Agnostic Meta-Learning,MAML)是最具代表性的基于优化的元学习算法。其目的是学习到一组模型初始化参数,使其应用在新任务时,可以仅通过少量步骤的微调,即可获得较好的性能。然而,作为一种归纳式元学习方法,MAML不能充分利用到查询集的数据信息,这限制了其潜在的性能提升。为了解决这一问题,研究了伪标签查询集数据对于基于优化的元学习方法的影响,提出了基于模型自身分类器伪标签标注的元学习方法,并在此基础上进一步提出了基于标签推理和自适应挑选的元学习方法(Label Propagation and Adaptive Picking,LPAP),使得模型可以在未知任务中充分考虑查询集数据中的信息,以进一步提升模型的性能。具体来说,通过模型对查询集样本进行标签推理预测伪标签和自适应挑选,然后将挑选后的伪标签查询集样本与支持集数据一起用于模型的再训练。此外,提出的方法可以在元测试阶段使用查询集的伪标签数据对模型进行再训练,克服了很多直推式元学习方法的弱点。在有代表性的小样本数据集上,对提出的LPAP方法进行了大量的实验验证,并与现有的元学习方法进行了对比。实验结果表明,LPAP方法可以简单有效地应用在MAML及其变体上,体现出良好的通用性。且应用后的模型在小样本图像分类任务上的性能获得了显著提升,并超越了现有的基于MAML的元学习模型,与当前最先进的元学习方法相比,所提出的LPAP方法实现了极具竞争力的性能。
其他文献
随着互联网的发展,数据发挥着越来越重要的作用。分布式协作机器学习允许多个客户端设备参与训练,同时一定程度上保证了数据隐私,因此迅速兴起。联邦学习和拆分学习是其两种主流实现方式。拆分学习与联邦学习相比可以更好地缓解客户端计算资源匮乏的情况,且具有更好的隐私性。用户参与拆分学习的目的是要通过参与全局的训练提高预测精度,然而参与训练的客户端设备数据的非独立同分布问题可能会对训练模型产生负面影响,导致客户
学位
电子计算机断层扫描是无创评估肌肉质量的黄金标准,依据第一腰椎位置的扫描图像中骨骼肌的面积可以鉴别是否患有肌少症。相对于人工手动标注的方法,自动分割技术可以提高分割效率以及准确度,再借助临床数据即可实现计算机辅助诊断。但现有的分割模型在来源不同或质量不一的图像上泛化性不够好,或者在分割区域边缘时不够精确,存在准确率不够高的问题。针对现有模型在肌少症辅助诊断领域准确率不够高和泛化性不够好的问题,提出基
学位
课程标准是有效实施教学的前提,也是指导教师如何把握课堂教学的依据,其中教材是实现课标要求的载体。进行教学设计首要任务就是研读教材,而研读的关键在于重难点的把握。《秒的认识》一课的重点难点确定为建立"1秒"、"1分"的时间观念,如何建立?本文从三个不同的体验中去"启蒙"、"发展"、"强化"时间观念,从而突破教学的重点难点。
会议
随着计算机软件在当今信息社会中的普及,软件的安全和版权保护问题愈来愈受到人们的重视。二进制代码是应用软件的重要发布形式之一,因而二进制代码和源代码匹配在应对这两个问题中发挥着重要作用,例如使用源代码来搜索已发布软件中的漏洞、对二进制代码进行溯源以检查其是否违背开源协议。目前,一些方法已经被提出来用于解决二进制代码和源代码匹配问题,这些方法通常是通过某些相似性约束来共同学习二者的嵌入(Embeddi
学位
遥感图像目标检测是遥感图像领域的一个重要研究方向,广泛应用于军事侦察和民用监控领域,其关键研究问题是如何提高遥感图像分类和定位的精度。然而,相对于自然图像,遥感图像目标存在排列密集、方向角度多、小目标数量大等特殊问题,利用通用的目标检测模型效果并不理想。因此,研究有效的面向遥感图像的目标检测方法,提升目标检测器的精度,具有重要的实际意义。针对遥感图像目标检测的上述问题,结合检测框设计和深度学习技术
学位
在生物学领域中,常见问题是利用知识网络中已有的信息来预测新的关联,即生物链接预测问题。随着生物学领域的相关研究快速发展,大量的生物学相关信息被发现和研究,对于这些不同类别、不同特征的生物实体,构建生物知识图谱这一方式能够有效地组织专业领域内知识。针对生物领域知识图谱嵌入来进行链接预测这一领域面临的两个问题,即如何将生物实体结构的特殊性与知识图谱嵌入相结合,以及如何对含有结构信息的实体嵌入进行特征提
学位
近年来随着移动互联网技术的发展和数据传输带宽不断增大,有利于信息朝多元化发展,图片、视频成为了人们之间社交信息传播的新媒介。其中短视频时间跨度短,但具有鲜明的主题信息,可以被方便地拍摄并即时分享,易广泛传播并且数量巨大。短视频平台的标签推荐任务生成的标签有助于对不同短视频的粗粒度分类,同时也有助于帮助用户浏览其更加感兴趣的内容,具有重大的研究意义。短视频标签推荐任务中本质上是从视频到文本的训练任务
学位
现有的管道破损探查主要是依赖人工,这种方法耗时且成本高昂。近年来,带有摄像头的管道检测机器人开始应用到地下排水管道检测中,并能够自动采集相关的视频信息。利用视频帧进行实例分割能够识别出管道内部破损区域,但无法判断破损的严重程度。因此,如何利用图像处理和深度学习技术分析管道机器人拍摄视频的深度信息并对破损进行定位和严重程度评估,具有重要的理论意义和应用价值。管道机器人采集的视频帧缺少深度信息,基于图
学位
随着信息技术的不断发展,智能安防系统从政府、高科技企业逐渐向中小型企业发展,智能门禁系统作为其中重要部分,开始应用在更多场景。特别是近年来物联网技术快速发展,为面向企业园区的智能门禁系统带来发展机会。在智能门禁系统向中小企业园区拓展的过程中,改造或者安装新门禁系统的成本不可忽视。因此,新形势下的智能门禁系统,需要具有低成本、低功耗、使用方便、安全可靠的特点。门禁终端是门禁系统的核心,基本功能是验证
学位
近年来,移动互联网技术与共享经济的发展和以智能手机为代表的智能终端设备的普及与应用推动了空间众包的出现和发展。与传统基于Web众包相同,空间众包具有工人、用户和平台三者。用户是众包任务的发起者,工人是任务实际完成者,平台连接工人和用户。不同的是,空间众包处理与位置相关的任务,众包工人需要移动到用户处来为用户提供众包服务。现有空间众包研究在建模上往往忽略了工人与用户的动态性和众包应用的经济性,在任务
学位