基于生成模型的零样本图像分类算法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:liongliong553
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在图像分类的实际应用中,未见类样本时常因标签无法获得而不能正确分类。零样本图像分类利用可见类样本的语义知识迁移来预测未见类样本的标签。在传统的零样本图像分类问题中,分类任务只针对未见类图像。而广义零样本图像分类中,测试样本既包含可见类样本又包含未见类样本,更符合实际应用。如果利用传统的零样本分类方法,在可见类上计算视觉和语义空间之间的跨模态映射函数,之后应用于广义零样本图像分类问题上时,会导致领域漂移问题。利用深度学习和生成模型合成未见类样本来训练分类器能部分解决领域漂移问题。但生成样本缺乏判别性且会影响分类器对可见类样本的识别准确度。本文针对上述问题,提出了基于回归变分自编码模型解决领域漂移问题。并提出了基于开集识别与生成对抗网络模型解决生成样本缺乏判别性和影响分类器对可见类样本分类准确度的问题。本文的主要工作和创新点包括:1.针对基于映射模型方法在进行语义与视觉跨模态映射时会产生领域漂移的问题,提出了一种基于回归变分自编码器的模型。首先,将属于同一类别的视觉特征和语义特征,输入到两个以对齐交叉重建的方式结合在一起的变分自编码器中。其次,对生成的伪视觉特征通过回归网络进行语义约束。最后,利用此模型生成未见类生成样本,并和可见类样本一起训练双层级联softmax分类器。利用第一层softmax分类器的结果信息对第二层softmax分类器进行优化,用第二层分类器的分类结果作为最终的预测结果。2.针对生成样本缺乏判别性,和未见类生成样本影响分类器对可见类样本识别准确度的问题,提出了一种基于开集识别与生成对抗网络模型。首先,将回归网络和识别网络添加到条件变分自编码器网络中,与判别网络组成对抗学习框架。其中识别网络通过增大类间差异为生成样本增加识别性,回归网络为生成样本附加语义约束。其次,使用开集识别算法将测试样本中的未见类和可见类样本分开。最后,为可见类和未见类测试样本训练各自独立的分类器。以此解决现有方法中将未见类生成样本和可见类真实样本一起训练导致的可见类准确度被影响的问题。本文在AWA1、AWA2、SUN和CUB四个数据集分别进行了回归变分自编码器、开集识别与生成对抗网络的有效性实验。实验结果表明,本文提出的两种方法在广义零样本图像分类的评价标准下较主流方法准确度均有提高。同时也证明了基于回归变分自编码器模型可以有效地减少领域漂移问题,基于开集识别与生成对抗网络模型能够减少可见类准确度被未见类生成样本影响的问题。
其他文献
概念结构作为产品内部元素及元素间关系的表达,能够帮助设计人员掌握产品技术系统现状。利用概念结构,设计人员能够发现现有产品的不足,并进行相应改进,完善产品,提升产品竞争力。但是,当设计人员借助于概念结构对智能产品进行设计时,鉴于智能产品兼具物理域特性及信息域特性,如何全面展现智能产品的系统组成及其交互关系,便成为了设计人员首先需要解决的问题。同时,设计人员如何利用智能产品概念结构发现产品不足并进行改
随着时代的发展,健康中国已成为国家战略,健康问题越来越被广泛关注。在城市居民慢性病和亚健康比重异常突出的背景下,如何促进人们的行为健康已成为当下研究的热点。住区活动空间作为人们的日常活动场所,提高居民在活动空间的行为健康,对促进居民健康有重要意义。通过研究户外活动空间特性与健康行为模式的关联,在促进健康行为发生的基础上提升户外活动空间质量,营造健康、舒适的户外活动空间,实现居民健康生活的目标。论文
心电图(Electrocardiogram,ECG)是一种被广泛使用的非入侵性检测技术,能够帮助医生诊断多种心脏疾病。心律失常作为心脏疾病中发病率较高的一种,需要及时有效的治疗。动态心电采集设备可以随时随地对患者进行心电检测,但在使用过程中会面临识别效率低、受噪声干扰等问题。卷积神经网络(Convolutional Neural Network,CNN)功能强大,在图像和信号处理方面表现优异。本文
多晶型现象在固态有机药物中普遍存在。同一分子的不同晶型往往在空间晶格排列中存在差异,从而导致药物不同晶型在理化性质、生物利用度以及相关制剂质量等方面均有不同。因此,近年来医药工作者对多晶型现象的研究日益重视。其中,不同晶型的成核和晶型转变条件尤为重要。通过控制多晶型的转晶过程,可以提高得到目标晶型的效率,因此转晶过程逐渐成为科学研究的热点问题。本文以壬二酸多晶型为研究对象,对多晶型的制备和转变进行
学位
学位
随着我国城市化进程的推进及工农业生产迅猛发展,土壤重金属污染问题愈发严重,其修复是个亟需解决的环境问题,其中重金属污染物在土体中的迁移机制是决定污染修复治理的核心问题。依托电动修复的趋势背景,引入透明土理念,以电压、污染物浓度、土质参数为影响因素,在探索透明土观测重金属污染物迁移可行性的基础上,构建重金属铬的微界面迁移机制。本文以重金属污染物Cr、Cu、Ni为研究对象,采用CEDX系列能量色散光谱
陶瓷材料具有诸多优良性能,在机械制造、航天航空、光学、生物医学等工程领域得到广泛应用。氧化铝基陶瓷材料具有高强度、高硬度、断裂韧性比较低、脆性较高等特点,采用金刚石砂轮进行精密加工和超精密加工过程中工件表面和亚表面极易产生微裂纹、位错等加工损伤,进而影响加工试件表面完整性和力学性能。为了在氧化铝基TiC陶瓷材料端面微磨削加工过程中获得加工表面的完整性和高效低损伤的质量,本文基于离散元方法对Al2O
随着我国电力事业的不断发展,变电站的电压等级也不断提高。为保障一些边远地区或无人看管的变电站的供电质量,变电站的巡检工作也越来越朝着智能化与自主化的方向发展。在变电站的巡检工作中,对于局部放电故障的检测是一项非常重要的工作内容。局部放电故障往往是变电站内设备老化或绝缘劣化的表现,也是进一步加剧设备损坏的原因。本文参考人工手持设备定位局部放电故障点的过程,将超声波信号检测设备与智能巡检小车相结合,开
CO是释放到空气中最多的气态污染物之一,催化氧化法是消除CO的一种行之有效的方法。CuO-CeO2对CO氧化具有较好的催化性能,被认为是最有希望替代贵金属的催化剂。金属有机框架材料(MOFs)是一种由金属离子和有机配体构成的具有周期性网络结构的多孔晶体材料,具有独特的有序孔道结构以及较大的比表面积等特点,以MOFs为前驱体制备氧化物催化剂引起了人们的关注。本文利用MOF衍生制备了CuO-CeO2,