【摘 要】
:
零样本学习是通过学习已知类视觉特征和语义属性向量之间的关系,并借助语义空间作为辅助信息将这个关系扩展到未知类数据集上,从而实现对未知类样本识别的一项研究。一个良好的零样本学习模型可以充分利用已知类到未知类之间的迁移知识,极大的减轻深度学习对带标签数据集的过度依赖,同时可以促进人工智能领域向终生学习发展。所以,零样本学习是一个具有现实意义和研究价值的课题。目前,实现零样本学习任务最常用的方法有基于特
论文部分内容阅读
零样本学习是通过学习已知类视觉特征和语义属性向量之间的关系,并借助语义空间作为辅助信息将这个关系扩展到未知类数据集上,从而实现对未知类样本识别的一项研究。一个良好的零样本学习模型可以充分利用已知类到未知类之间的迁移知识,极大的减轻深度学习对带标签数据集的过度依赖,同时可以促进人工智能领域向终生学习发展。所以,零样本学习是一个具有现实意义和研究价值的课题。目前,实现零样本学习任务最常用的方法有基于特征映射和特征生成两种。虽然近几年零样本学习性能有了一定程度的提升,但是在模型的训练过程中往往会存在域偏移、枢纽点和语义间隔等问题。本文针对这些问题提出了相应的解决方案,主要工作如下:(1)为了缓解在模型训练过程中出现的领域偏移和枢纽点问题,本文提出了一种基于双重生成模型的方法。该模型充分利用了视觉特征空间固有的判别信息,从而达到对生成模块的进一步优化效果。其中,生成模块是由条件变分自编码器和增强生成对抗网络这两个生成网络组成的。具体来说,该模型利用视觉特征的判别信息以及对应的语义特征向量来对生成模块进行训练,然后利用训练好的生成模块合成未知类的伪视觉特征来训练视觉特征分类器,至此便可实现对未知类的识别。此外,在整个模型的训练过程中还增加了一个附加分类器来激励生成器,并进行了实验对不同结构的附加分类器所产生的影响进行了定量分析。最终实验结果表明,该方法在传统零样本学习和广义零样本学习设置下的识别精度都有所提升,其中在FLO数据集上的识别精度分别提升了3.3%和3.1%,充分说明了基于双重生成模型方法的有效性。(2)针对语义间隔问题,本文提出了一个基于语义一致性的生成模型。该模型也是基于特征生成的方法实现的,不同的是它在生成器的输出端添加了一个语义重构器,使得该模型能够从生成的视觉特征中重建出对应类别的语义特征向量。在这个过程中引入了一个新的语义一致性损失函数,用来激励生成器生成可以反映已知类和未知类间语义关系的视觉特征。通过实验可以得出结论:在APY数据集上的ZSL识别精度提升了6.2%,而在CUB数据集上的GZSL识别精度提升了4.3%。无论在ZSL还是在GZSL设置上,该模型对零样本学习的识别精度都有一定程度的提升,这充分说明了语义重构器和语义一致性损失函数可以有效改善零样本学习在目标数据集上的识别性能。
其他文献
近三十年来,相干斑抑制方法在合成孔径雷达(SAR:Synthetic Aperture Radar)图像中得到了广泛的应用。SAR图像中斑点噪声的存在严重降低了图像的可解释性,并对后续的目标检测、分类和识别等常见应用产生很大影响。因此,需要采用相干斑消除方法来提高SAR图像的质量。目前,国内外许多学者都致力于SAR图像斑点噪声的抑制,并提出了大量抑制图像斑点噪声的算法。大多数方法都是通过使用过滤窗
呼吸率是衡量人体健康状态的重要生理参数之一,呼吸率检测在医院健康监护、灾害现场伤情判定以及家庭健康监测等场景有着广泛应用。基于视频的呼吸率检测方法成本低廉、拓展性强,已成为人体呼吸率检测领域的研究热点。现有的呼吸率视觉检测方法在人体侧躺、平趴等多种姿态下,难以准确地提取出呼吸信号,不能实际应用于家庭健康监测等场景。因此,多种姿态下的人体呼吸率视觉检测方法具有重要研究价值。针对上述问题,本文具体工作
沉浸式多媒体,包括全景视频和虚拟/增强现实(Virtual Reality,VR/Augmented Reality,AR)视频,最近随着沉浸式应用需求的增加而变得越来越流行。视角(Field of view,FoV)预测作为新兴的VR和AR应用的一个重要组成部分,在全景视频自适应传输中至关重要。目前大多数结合了显著性检测和FoV信息的预测方法既没有考虑到全景视频投影后的失真会使传统卷积网络的权重
基于视频的振动检测技术具有非接触式、低成本以及支持全场测量等优势,在大型建筑的结构安全检测、机械设备的运行状态监测等领域有着广阔的应用前景。固定相机受到部署位置、测量视角等限制,难以实现针对大跨度及高层建筑的振动测量。随着无人机技术的发展,无人机载相机提供了一种更为灵活的视频振动检测手段。然而,在悬停拍摄的过程中,无人机受到环境气流影响会产生随机晃动,进而影响到所采集视频的质量以及最终的振动检测性
近年来,深度学习模型已经在图像分类和目标检测领域取得了丰硕的成果,但在一些特殊场景中受限于无法获得大规模的标注数据,导致算法模型的效果不能得到进一步的提升。因此,利用少量样本数据进行有效的学习,对于研究者们来说是一个非常有价值的研究课题。本文主要围绕小样本条件下的图像分类和目标检测问题,对现有的小样本分类和检测算法模型进行深入的研究。基于这样的思路,本文的主要工作和贡献如下:(1)目前的一些度量学
合成孔径雷达(Synthetic Aperture Radar,SAR)能够全天时、全天候地提供高分辨率的SAR图像,因此广泛用于军事、农业等领域。SAR图像分类是SAR图像的重要应用之一,随着深度学习方法的发展,图卷积网络(Graph Convolutional Network,GCN)促进了SAR图像分类性能的进一步提升,但是SAR图像中存在固有的相干斑噪声,难以获得具有强判别性的特征。论文在
随着互联网技术与移动设备的快速普及,除了传统的“口口相传”的线下教育方式外,在线教育平台因其丰富的教学资源与灵活的学习时间逐渐吸引了广泛的关注。研究者们致力于推动在线教育平台的发展,提出了智能教育系统的概念:智能教育系统能根据每个学生的具体情况及平台的教学资源为每位学生量身定制学习方案并提出学习建议。学生表现预测任务是智能教育系统中的基础任务之一。具体而言,该任务需要智能教育系统通过分析学生的历史
大气偏振模式是天空中的偏振光形成的具有特定规律的偏振态分布,其中蕴含着重要的方向信息,为偏振光导航提供方向基准。人类的肉眼是无法识别偏振光信息,需要通过相应的偏振成像系统。不同偏振成像系统在使用过程中都需要经过相应的标定,来提高偏振测量精度。针对偏振成像系统中还存在影响大气偏振模式测量的因素,本文从不同检偏角的选择、偏振片的初始方向、偏振成像系统测量原理等方面,研究偏振成像系统对大气偏振模式测量的
在人工智能的高速发展下,人们对计算机多模态领域理解能力有更高的要求。面对复杂的现实场景以及背后运行的常识逻辑,计算机需要更高层次的视觉语言理解能力和逻辑推理能力。视觉常识推理(Visual Commonsense Reasoning,VCR)任务是引导模型进行视觉和语言领域任务更高层次的认知水平理解。其中包括三个子任务,即通过问题(Question)预测答案(Answering)Q→A,通过问题和
冷启动问题是推荐系统中长期存在的难题,新用户或新产品出现时,要求在没有历史交互记录的情况下进行个性化推荐。基于协同过滤的推荐算法广泛部署于各类在线平台,而新用户或新产品没有协同信息,因此精准的推测新用户偏好以及表征新产品变得更加困难。鉴于属性信息在大多数在线平台中可获取,传统的冷启动推荐算法通过学习协同信号表征空间和属性表征空间之间的联系来提升性能,但仍然存在一些问题:(1)传统的冷启动推荐方法简