基于深度学习的小样本图像和视频分类研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:along_1979
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来人工智能成功应用于多种场景,但它十分依赖大规模的监督数据,缺乏从有限样本中学习和快速适应新任务的能力。针对这个问题,小样本学习孕育而生。它可以像人类那样,通过对以前的任务进行归纳和类比积累先验知识,然后在有限监督数据的新任务中借助先验知识进行学习,从而能够快速的适应新任务。本文针对小样本分类任务进行研究,对于图像和视频这两个常用的数据模态,根据其数据特点的不同,我们设计了两种不同的小样本分类方法。基于信息传导的小样本图像分类在图像小样本分类任务中,标记图像的数量远少于未标记图像的数量。若仅利用标记图像来获得图像分类模型,则容易造成模型的过拟合。本方法充分利用标记图像和未标记图像之间的关系,使在特征空间下相邻的图像有相同的类别标签。为了提取有区分性的图像特征和充分利用未标记图像数据之间信息,本文提出一种两段式的基于信息传导的小样本图像分类方法。在第一阶段,使用元训练集中所有的图像样本训练一个图像分类网络。在第二阶段,首先使用第一阶段训练的网络提取任务中所有图像的特征,然后构建任务内所有图像之间的图结构,最后进行信息传输预测未标记图像的标签。在通用数据集上的实验结果表明,本方法能有效的进行小样本图像分类,并且分类准确率达到先进水平。基于序列度量的小样本视频分类视频数据由图像序列组成,图像帧之间存在时间顺序和数据冗余,若直接将原视频或裁剪视频输入网络会造成严重的冗余或局部性问题。在每个视频小样本任务中,由于每类视频只提供了有限的标注样本,很难学习有区分性的的视频特征表达。为了在减少信息冗余和计算负担的同时又能充分利用视频的信息,本文提出一种基于序列度量的小样本视频分类方法。本文首先通过对视频进行稀疏采样获取图像帧序列,将其作为后续处理的输入。接着通过一个图像特征提取器提取每个图像帧的特征,得到代表视频的多元时间序列。然后本文使用一个变形网络模拟特征空间中帧序列间的变形函数,计算视频的图像帧序列的变形从而得到序列间的相似度。最后通过与标记样本之间的相似度度量预测未标记样本的类别并计算分类精度。本方法通过考虑图像帧序列间时序关系充分的利用了视频的时间信息,通过使用变形网络获得图像帧序列间的变形避免了大量的计算操作。在通用数据集上的实验结果表明,与现有的小样本视频分类方法相比,本方在分类准确率和时间性能均达到先进水平。
其他文献
近年来,在线教学作为一种以互联网技术为依托的新型教育发展形式,颠覆了传统的教学模式,受到用户的广泛青睐。虚拟仿真技术作为未来互联网技术发展的重要分支,通过构建虚拟环境为用户提供更加直观的视听体验,近年来得到了广泛的实际应用。虚拟教学实验系统将在线教学与虚拟仿真技术相结合,让用户足不出户也能够享受虚拟教学带来的更高效的学习方式和沉浸式的学习体验,目前在教育行业已经得到越来越多的关注和认可。针对目前大
推荐系统可以在信息爆炸时代帮助用户发现潜在感兴趣物品,同时也为各企业带来了收益上的提升,因此推荐系统的研究具有十分重大的价值和意义。仅基于用户物品交互信息的协同过滤推荐算法已经有多年的研究历史,其推荐质量目前已经很难有重大提升了。随着知识图谱理论和图神经网络技术近几年的高速发展,知识图谱辅助推荐系统进一步提升推荐质量已经成为新的研究趋势。RippleNet是当前一种推荐质量较好的典型的基于知识图谱
实验目的:通过喂养高脂饲料建立高脂血症大鼠模型,中药组给予清肝化浊方治疗,西药组给予辛伐他汀治疗,观察各组之间体重、TC、TG、LDL-C、HDL-C、apo AI、apo B水平的变化,研究清肝化浊方对高脂血症大鼠脂质代谢的影响,为其临床应用提供实验依据。实验方法:将32只健康雄性SD大鼠随机分成4组,每组8只,分别为正常组、模型组、西药组、中药组。正常组给予普通饲料喂养,其余三组均喂养高脂饲料
近年来随着智能技术的发展,各类智能移动机器人逐渐走进了大众的基本生活中。2020年新冠肺炎期间,各类移动机器人的需求量迅猛增长,随着社会老龄化程度的加剧,移动机器人在未来仍是一片蓝海。要做到移动机器人的智能化,优良的导航系统必不可少,针对该问题,论文以Turtlebot移动机器人为研究对象,设计并实现了一个具有自动导航、故障恢复、两点导航功能的导航系统,随后在仿真环境中对系统的各项功能进行了测试,
能源在国家经济发展中扮演了不可或缺的角色,而管道又是保证能源运输的一种重要途径。目前随着管道在役时间的增加,管道外力,自然腐蚀等原因造成的不同损伤会使管道状况逐年恶化,潜在危险激增。一旦发生泄漏,经济严重损失的同时还会带来环境污染。因此,管道的安全运维不容忽视。在复杂管网中,压力波长距离传播带来的信号衰减以及频繁的调阀、调泵动作使得管道泄漏的识别存在一定的误报和漏报。同时,由于信号采集精度不够和外
随着信息化进程的推进,每时每刻都有大量的数据产生。如何在收集数据并发挥其实际价值的前提下,避免数据中用户隐私的泄露已经成为很多组织需要解决的问题。隐私保护数据发布平台能够在保证数据价值的前提下,为用户提供不同的隐私保护算法,该平台还可以作为第三方程序嵌入到数据收集与发布平台,从而对数据中的隐私信息进行处理,对于保护用户隐私具有实际意义。分析了隐私保护数据发布平台的设计目标,在此基础上,设计了隐私保
有源功率因数校正技术作为当前用电设备提高功率因数、降低谐波污染的重要手段,在世界范围内得到了广泛应用。基于DCM模式的Boost PFC成本低,结构简洁,被广泛应用于中小功率场景。本文致力于研究DCM模式下基于Boost PFC的数字有源功率因数校正技术,推导并对比不同的数字控制策略,并基于FPGA数字控制技术进行快速实现与实验验证。本文分析了DCM模式下Boost PFC的工作模态,并根据实验需