基于属性学习的零样本图像分类研究

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:ww4102001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
属性作为联系底层特征和类别标签之间的桥梁实现了可见类到不可见类之间的知识迁移,为零样本图像分类(零样本学习)中类别标签缺失问题提供了有效的解决方案。但是,零样本学习仍然面临着基于可见类图像训练得到的分类器难以直接用于不可见类图像标签测试的问题。为此,本文围绕基于属性学习的零样本图像分类问题展开研究,主要工作包括:第一,在生成对抗网络以属性作为控制条件生成特征的过程中,由于缺少生成特征和属性以及生成特征和真实特征的约束,从而难以充分表征生成特征与对应属性以及真实特征之间的关系。为此,提出一种基于双循环损失生成特征的零样本图像分类模型,该模型由两个生成对抗网络和一个变分自编码器组成。首先,第一个生成对抗网络根据图像的原始属性生成虚拟特征;其次,利用变分自编码器对生成的虚拟特征进行属性重构,通过属性循环损失建立原始属性和重构属性之间的约束,确保生成的虚拟特征能够更完整的表达语义属性;然后,第二个生成对抗网络根据重构属性再次生成特征,通过特征循环损失建立真实特征和基于重构属性生成特征之间的约束,确保生成的虚拟特征更接近真实特征;最后,利用可见类特征和生成的不可见类虚拟特征共同训练Softmax分类器,为测试图像预测类别标签。第二,对于属性描述极为相似的类别而言,生成对抗网络以属性作为控制条件生成特征时没有考虑到不同类别之间属性的差异性,并且仅依靠属性生成特征忽视了样本特征对生成结果的影响。为此,提出一种在直推式零样本设定下基于混合属性生成特征的零样本图像分类模型。首先,利用变分自编码器对图像特征进行重构,得到潜在空间中包含图像特性信息的潜在特征,将潜在特征和原始属性组成混合属性;然后,将混合属性作为生成对抗网络的控制条件生成虚拟特征。混合属性增加了属性相似类别语义描述之间的差异性从而生成更加真实的虚拟特征;最后,利用可见类特征和混合属性生成的不可见类虚拟特征共同训练Softmax分类器,对测试图像的标签进行预测。在CUB、FLO、SUN和AWA数据集上的实验结果验证了本文所提零样本图像分类模型的有效性。
其他文献
多层金属复合材料凭借其优异的综合性能以及根据实际需要存在的可设计性,已经成为当前材料科学领域研究的重点方向。本文采用退火态的纯镍N6和纯钛TA1为原材料,利用ARB技术制
随着电子工业的快速发展,各种电子器件均向着小型化发展,陶瓷电容器作为脉冲脉冲功率技术中的储能电介质,它的储能密度限制了脉冲功率技术的小型化应用,如何提高陶瓷电容器的
世界面临能源短缺和环境污染两个重大危机,开发利用如太阳能、氢能这样的清洁能源势在必行。因为紫外光仅占4%,而可见光占太阳能的43%,所以很有必要制备和研究可吸收可见光的
秦始皇兵马俑由于常年受到自然因素和人为因素的影响,发掘出土的很大部分破碎成堆。人工对碎片分类复原付出的代价是非常昂贵的,因此经过手动标记以后的有标记的碎块数量很少,无标记的碎块却大量存在,这给计算机辅助文物碎块分类带来很大的困难。传统的机器学习只能利用无标签数据进行无监督学习或者只能利用有标签数据进行监督学习,不能同时利用两种数据,为了获得更好的学习精度同时又要充分地利用现有的数据,半监督学习成为
近年来,酒店业所处的环境呈现出越来越多的不确定性、动态性及复杂性等特征。酒店顾客的需求变得日益多样化、个性化及新奇化,这就为酒店组织如何提高服务质量,以获得高的顾
近些年,在晶体工程和多态现象等领域被大家所熟知的机械化学被作为一种应用于有机合成的技术再次出现在科学家们的视野中。众所周知,传统化学反应中常用到的活化方法主要包括
本文主要考虑晶膜生长过程的四阶非线性抛物方程的相关数学理论,即我们将利用Galerkin方法,Banach不动点定理等工具研究该四阶非线性抛物方程,以及它所对应的稳态方程解的存
离子液体(ionic liquids,ILs)的低挥发性、高离子传导能力、高化学/电化学稳定性等特性使得其成为较理想的离子传导介质。将合适的ILs与Pt/C以及Nafion组成的复合的催化体系(ILs
视觉多目标跟踪是计算机视觉领域的研究热点之一。在无人驾驶领域,视觉多目标跟踪是智能驾驶车辆的眼睛,在自动驾驶车辆行驶过程中,鲁棒的多目标跟踪算法能够保障自动驾驶车辆的安全。视觉多目标跟踪有跟踪速度快、获取信息多、硬件成本低廉等优点。随着深度学习技术的逐步拓展,一些性能良好的基于卷积神经网络的外观检测器开始应用于视觉多目标跟踪领域。但在无人驾驶应用中,由于摄像机随自动驾驶车辆运动、复杂的道路环境等因
保存条件对中国南方海相页岩气的勘探有着重要作用。为进一步解释各因素对海相页岩气保存条件的影响机理,明确赣西北修武盆地页岩气保存条件并优选有利区,研究从页岩及其顶底