基于多模态映射的零样本图像分类

来源 :天津大学 | 被引量 : 0次 | 上传用户:javapages
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统图像分类技术需要在模型训练阶段给出带标签的图像数据。但是,随着图像数据的急速增长,为每个类别的图像都提供已标注的训练样本是一件非常困难的事情。为此,学术界提出了能够为在训练集中没有出现过的类别图像进行分类的零样本图像分类方法。针对零样本图像分类方法,本文从语义特征空间构建和映射后特征之间的距离度量两个角度进行了较为深入地研究分析。零样本图像分类方法需要使用额外的辅助信息作为桥梁,将已见过的类别和未见过的类别相联系,从而将在已见过的类别中学习得到的知识用于未见过的类别。现有方法大多使用语义特征完成这一任务,如类别名称对应的文本特征,或从类别对象中抽象出来的属性特征;然后将图像的视觉特征映射至语义特征空间,或者将视觉特征和语义特征映射至公共特征空间;最后,未见过的类别可以通过在已见过的类别中学习得到的图像特征与语义特征之间的映射关系,将自身的图像特征与待预测类别的语义特征相联系,从而实现分类。针对目前较少工作考虑了多种模态的语义特征联合应用的情况,本文采用公共特征空间的思想,对组间因子分析方法进行改进,提出一种多组间因子分析方法(Multi-Battery Factor Analysis,MBFA),将图像特征和多个模态的语义特征映射至一个公共特征空间。和传统的语义特征空间构造方法相比,本方法能够充分利用多种模态的语义特征所包含的信息,从而提高分类准确率。在常见的零样本图像分类数据集上的实验结果证明了所提MBFA-ZSL方法的有效性。在语义特征空间中,合理的距离度量方式能够准确地反映出各个模态特征之间的关系,从而有助于提高分类性能。因此,本文对语义特征空间中映射后视觉特征和语义特征之间的距离度量方式进行了研究。现有的零样本图像分类方法通常使用传统的欧氏距离进行度量,它假设样本特征的各个维度都同等重要,这往往不能有效地描述样本间的关系。基于此,本文将距离度量学习(Distance Metric Learning,DML)引入零样本图像分类,从而更好的描述图像特征和语义特征之间的距离。本文将所提的CCA-DML算法在AwA和CUB两个数据集上进行了性能测试和分析,通过与使用传统欧式距离的CCA-Euc算法的比较,可以看出距离度量学习能够有效地描述公共特征空间中图像特征与语义特征的距离关系,从而提高分类性能。通过与当前主流方法的性能比较,可以看出所提的CCA-DML算法能够取得更好的分类结果。
其他文献
在现行的市场经济体制下的,我国的地产项目仍以传统项目管理模式为主,由于传统项目管理中存在大量的交易成本,使地产项目运营效率较低。这就需要对现行项目管理进行系统分析,
我国的房地产从1991年起步,经历了起步→推进→发展→调控等阶段,终于在1998年结束分房制度以后,有了飞跃性的发展。2003年“地王”的频频出现及房价的不断推高,使政府意识到
简要介绍了中草药饲料添加剂的种类和特性,综述了中草药饲料添加剂在水产养殖中的应用现状和存在的问题,并展望了它在水产养殖中的应用研究和发展趋势。
发动机属于中间产品,适用于卡车、工程机械、船舶、发电等终端产品,在机械工业品中属于跨行业、跨部门较多的一个产品,以经销商代理等渠道销售为主要营销模式,其产业发展与市场需求随着基础建设、国民经济及配套产业的发展而发生变化。近年来,随着国际政治经济格局的变化,发动机行业从过去市场严重萎缩慢慢呈现需求增长的趋势,然而汇率、劳动力成本等因素也在逐步弱化国产发动机与进口发动机的比较优势,国内竞争对手也越来越
马克思社会有机体理论是建立在马克思主义哲学原理上的关于人类社会的学说,为我们理解和认识社会提供科学方法论指导,也是文化发展的理论根基。马克思的社会有机体是以实践为
目的探讨加巴喷丁在不宁腿综合征(RLS)患者的疗效观察。方法筛选32例原发性RLS患者,给予加巴喷丁(300~1 200 mg)治疗12周。在治疗前后分别采用不宁腿严重程度评分(IRLS)、匹兹堡睡
俄军十分重视防空作战体系及其指挥自动化系统建设,在防空反导领域始终保持领先地位。本文探讨了俄军防空作战原则,研究了俄军防空作战编成和现役的防空指挥自动化系统,重点
<正>SPACE ONE是一款主动降噪耳机,通过消除外部噪音,保护Hi-Fi完整性而不影响细节。SPACE ONE将音乐带入生活,保留清爽高音,丰富中音和紧凑的低音,以获得完整的音乐享受。它
期刊
目的:了解社交网络中医患交互现状及医患关系的影响因素。方法:使用随机抽样的方法,针对医学生和普通大学生(非医学生)对医患关系的关注度、社交网络的使用情况以及社交网络对医患
老旧池塘因深度不够,且经过长期的养殖生产,池塘底泥厚积,饲料、粪便沉积于池底,常常造成水体的富营养化,渔民们采用大量换水或使用药物来改善水质,这样不但增加了养殖成本,