【摘 要】
:
深度学习的成功源于大量的标记数据,与之不同的是,人类仅仅通过少量的样本就具有很好的认知识别能力。两者之间的差异引发了人们对小样本学习极大的关注和研究。与传统的深度学习场景相比,小样本学习是根据新任务中少量的标签数据(支撑集)和以往获得的知识预测新任务中未标注的数据(查询集)。近年来,小样本学习方法借助元学习和情景训练策略,取得了长足的进步。其中情景训练策略是随机的从数据集中构造一个个元学习任务进行
论文部分内容阅读
深度学习的成功源于大量的标记数据,与之不同的是,人类仅仅通过少量的样本就具有很好的认知识别能力。两者之间的差异引发了人们对小样本学习极大的关注和研究。与传统的深度学习场景相比,小样本学习是根据新任务中少量的标签数据(支撑集)和以往获得的知识预测新任务中未标注的数据(查询集)。近年来,小样本学习方法借助元学习和情景训练策略,取得了长足的进步。其中情景训练策略是随机的从数据集中构造一个个元学习任务进行模型优化。已有实验验证使用情景训练策略是很有前景的一种方式,这种方式将知识从已知的类别(看到的有足够多的类别)转移到新类别(有很少样本的新类别),模拟人类学习过程。尽管使用情景训练策略非常有效,但是,该策略忽略了两个关键性问题:(1)当利用情景任务不断训练时,过去学到的知识如何能对新任务起作用。(2)基于情景训练的小样本学习方法忽略了类内多样性的重要,过分注重当前情景任务的类间的判别性,导致学习到的特征无法迁移到新任务上。针对这些问题,本文进行了面向情景训练机制的小样本图像分类研究,基于此,本文主要研究内容和贡献如下:(1)针对第一个问题,本文提出了基于记忆力机制的小样本学习方法,能够建立情景任务之间的联系,并充分利用过去所学的知识。与现有的元学习方法不同,本文引入了记忆增强的动态记忆模块,建立了一个元知识记忆库存储训练过程中每个类的代表性特征。同时,为了充分利用元知识,本文还引入了一个图增强模块,通过元知识挖掘聚合记忆库中与当前任务相关的知识,之后将聚合的元知识和当前任务的样本特征一起送入到具有自适应加权的图神经网络中,挖掘它们之间的关系,从而实现新任务快速、全面的推理。(2)针对记忆库没有反向传播,而用于提取特征的编码器通过反向传播不断更新参数,导致同一样本在不同情景任务中不一致的问题,本文提出了基于记忆提纯的小样本学习方法,能够保证学习到的知识稳定和一致。本文从信息瓶颈的角度学习每一个类别的最佳原型表示。通过从语义标签中逐步提炼信息,使所存储的知识具有普遍的表达性、一致性和稳定性。(3)针对第二个问题,本文提出了两阶段的基于自监督与知识蒸馏的小样本学习方法,能够学习到数据的表示在正确区分不同类别的同时,对数据变化的共同因素是不变的。自监督预训练阶段,使用自监督辅助训练,使输出预测与输入样本变化的共同因素是不变的。此外,考虑到预训练与情景训练机制的优势互补,在预训练完后,随机构造一个个元学习任务,使用知识蒸馏保证学习到的特征具有类间判别性类内多样性,同时具备了任务变化的泛化性,从而更好的迁移到新任务。本文在四个小样本数据集上(mini Image Net,tiered Image Net,CUB-200-20和CIFAR-FS)的实验结果表明,与该领域基准算法以及近几年性能最好的算法相比,本文所提出的算法可以在所有数据集上取得更高的分类准确率。从而,进一步验证了本文算法的有效性和优越性。此外,本文的主要方法已被IJCAI2021录用。
其他文献
商圈是一个城市的商业招牌,也在一定程度上反映了当地经济发展的水平。商圈分析可以帮助国家和地方政府了解商圈发展态势,为制定商圈发展规划和政策导向提供科学依据。另外,商圈分析还能为经营者选择经营场所、制定和调整经营方针和策略提供依据。基于以上背景,本文以上海市商圈为研究主体,基于银联数据,采用统计学方法,对商圈客户转移消费问题进行了深入分析。由于商圈之间的客户转移数量是一个矩阵数据时间序列,并且某些商
相较于单臂机器人,双臂机器人拥有冗余的自由度,能够执行更灵巧的操作和完成更复杂的协同任务。双臂机器人在进行灵巧操作时,末端执行器之间的距离往往非常接近,在对双臂协作机器人进行轨迹规划时,要求提供十分精确的碰撞检测算法,以保证机械臂的安全。针对上述问题,本文对面向双臂协作机器人的连续碰撞检测算法进行研究,主要研究内容为:·提出了一种面向双臂协作机器人灵巧操作的连续碰撞检测算法,该算法基于泰勒模型在机
近年来,深度神经网络在许多分类任务中已经达到了很高的准确率,这些任务包括语音识别,目标检测以及图片分类等。尽管深度神经网络对随机的噪声是具有鲁棒性,但是当对神经网络输入添加一些不能被人眼察觉的特殊扰动会使得深度神经网络模型输出错误的预测值。通常把这些添加了特殊扰动的样本称作对抗样本。为了使得深度神经网络的鲁棒性提升,对于深度神经网络防御对抗样本的方法进行了研究。在对抗防御的方法中包括三种:梯度遮蔽
随着信息技术的发展,图作为一种便捷且有效的建模方式,被广泛用于表示复杂的结构化数据。异常节点检测是图分析领域中的重要课题,在诸如社交网络的恶意账户检测,金融网络的欺诈检测等现实生活中有着广泛的应用。图异常节点检测场景的数据往往具有复杂的拓扑结构关系,传统领域的异常检测方法难以处理复杂的关系,此外,信息多元,标签不平衡等特点也造成现有的异常节点检测算法在性能上不尽如意,影响异常检测任务的表现。为了高
现代人们大部分时间都在室内环境中度过,例如家庭、办公室、购物中心、大学、图书馆和机场。然而,很多现有的基于位置的服务都只针对室外空间而设计,这主要是因为全球定位系统等定位技术无法准确识别室内场馆的位置。然而近年来室内定位技术的突破开始逐渐克服了这一难题,为研究机构、政府机构、技术巨头和有进取心的初创企业带来了巨大的未来机会——可以充分挖掘室内基于位置的服务的潜力。因此,室内数据管理在过去几年中获得
密度聚类被广泛用于模式识别、信息检索、图像分析、复杂网络分析等众多领域来识别真实世界数据集的隐藏结构。目前的密度峰算法往往只能处理结构化的完整数据,很多情况下表现不佳。其一,现实世界中的数据往往存在缺失或错误值,对于这样的不完整数据集,目前的处理方法是进行数据插补,然后采用传统聚类方法进行处理,这样导致精度下降,并且插补后的点的‘聚集现象’可能导致密度峰聚类失效。其二,对于更常见的半结构化数据,往
点云可用来描绘物体在三维空间中的形状,被广泛应用于自动驾驶、质量检测、结构可视化以及动画渲染等领域。随着深度学习技术的发展,人们逐渐将视角从二维视觉转向三维视觉,点云由于能够最大限度地保留物体的几何信息,因此成为研究该问题的首选。近些年来,在大规模三维点云上展开的深度学习工作已经取得了巨大的进展。然而,点云中专门面向小目标的语义分割仍然是该领域的挑战之一,许多问题亟待解决:(1)小目标所承载的语义
联邦学习作为当下人工智能技术的热点,可以解决“数据孤岛”问题。然而,现有的联邦学习方案面临一些问题,例如,如何保证上传的模型更新的隐私,如何避免不可靠的模型更新,以及如何鼓励参与者贡献他们的资源。为了解决这些问题,本文制定了相应的设计目标,提出了一种隐私保护的评估机制来选择可靠的模型更新。考虑到参与者不可能无条件的贡献自己的资源参加联邦学习,本文制定了相应的设计目标,设计了一种基于强化学习的公平激
监督过失不是过失的新类型,而只是在预见可能性程度上有所降低的特殊过失形态。监督过失可归责的正当性根据,在于劳动分工基础上维护社会有机团结的要求。监督过失理论研究对我国司法实践的意义,在于对监督者加重处罚并限制其处罚范围。监督过失处罚并不违反责任主义,也并非是风险社会下预防刑法的典例,对监督过失的研究仍未脱离传统刑法理论的范畴。我国司法实践呈现出三元监督主体归责倾向,实务中存在注重责任的划分而非归责
知识追踪(Knowledge Tracing)是用来评估学生对知识点掌握程度,从而预测学生对特定习题能否回答正确的人工智能与教育学领域相融合的一项技术。近年来,随着在线教育平台的不断增多,对于个性化学习的需求也越来越迫切。知识追踪可以追踪学习者的知识状态,并且学习路径推荐可以根据知识追踪的预测结果来对于学习者的学习过程进行个性化规划与推荐,以满足适应每个学习者的学习需求。尽管对于知识追踪和学习路径