论文部分内容阅读
在图像分类领域,传统的图像分类系统要想准确识别某种类别,必须先获取对应类别的带标签训练样本,抽样其中部分样本作为训练集构造分类器,再进行测试分类。但实际情况中,目标种类数目庞大,获取所有类别的标注样本代价昂贵,反言之,当有大量图片需要分类时,为每一图像收集相应的标签进行标注也往往不太现实,此时传统的分类方法往往难以奏效。为解决这一问题,研究人员提出了利用诸如文本等辅助信息源对训练期间未见类别实现分类,这类学习方式叫做零样本学习(Zero-Shot Learning),源于人类仅通过描述就能识别新事物的能力。然而,目前模型大多局限于单个标签的图像分类,实际大多数图像包含多个对象类别,对应多个标签。零样本多标签图像分类作为一类交叉学习任务,既面临零样本学习任务的难点,也面临多标签分类任务的挑战。本文结合两类学习任务的特点,对这一特定学习任务进行分析,并分别实现了两种零样本多标签图像分类模型。首先提出了基于深度排序学习的零样本多标签图像分类框架,包括特征提取、跨模态映射和多标签分类三部分内容。特别地,提出一种跨模态模型DEM(Deep Embedding Model,DEM),实现视觉特征和语义特征间的多模态映射,并借助中间分布式语义表征实现从已知类别到未知类别的知识迁移。同时提出两类分类算法——直推式多标签预测(Transductive Multi-label Prediction,TraMP)和直接排序SVM算法(Direct multi-label Ranking SVM,DRankSVM)实现最终分类。具体地,TraMP算法借助训练样本信息构造训练样本和测试样本间的流形结构,辅助实现分类,属于直推式算法。DRankSVM算法则利用标签间的关联排序信息,对分类进行约束,从而实现最终分类,属于归纳类算法。接着还提出了一种基于深度多示例的零样本多标签图像分类算法。其基本思想是不再将样本特征看作是单维度,而是将该特征进行分割,单示例对应多标签分类转换为多示例对应多标签学习。对此本文提出一种示例差异化分类算法(Instance Differentiation,InsDif),具体实现过程分为两个步骤,首先对样本进行多示例划分,并基于聚类算法将示例划分为不同簇,其次寻求聚类中心和标签间的对应关系实现最终分类。最后上述两类算法在三个主流多标签数据集Natural Scene、IAPRTC-12和NUS-WIDE下进行了大量的实验验证,并通过与其他算法的对比验证其有效性及先进性。