随着计算机视觉领域的飞速发展,图像识别作为其中的经典任务取得了惊人的成绩,人脸识别、物体识别都被广泛地应用到了实际的生活场景中。图像识别的发展离不开深度神经网络,然而,深度模型需要通过大量的数据来学习视觉特征与类别之间的映射关系,随着应用范围的扩大,这种学习方式已经难以满足实际场景的应用需求。近些年,零样本学习成为研究的热点,未见组合识别作为该任务的一种特殊情况因为其数据集的结构而具有重要的研究意义。未见组合识别问题主要面临着两个难点:(1)未见组合与可见组合之间的域差异,导致训练集上学习的模型无法有效的应用于测试集;(2)属性概念的视觉表象和与之组合的类别密切相关,导致模型难以学习到对属性概念具有高度判别性的特征。本文针对以上问题,借鉴人类学习视觉概念的思维模式,通过解耦的思想构建模型处理未见组合识别问题。主要研究内容如下:1.本文提出基于解耦的未见组合识别模型。研究发现,过去的方法要么分别考虑属性和类别,要么只考虑“属性-类别”这个组合概念,无法实现组合简单概念以学习复杂概念的目的。鉴于已有方法利用组合标签过程中产生的分歧,本文构建两个子空间来实现属性和类别的解耦。在属性空间将同属性不同类别的视觉特征拉近,模拟人类根据共性认知事物的过程,以学习属性概念,类别空间同理。为了实现对未见组合的识别,我们将标签通过语言编码模型得到其语义特征,然后分别映射到两个子空间并与视觉特征对齐。训练过程中通过选择三元组输入解决困难样本的问题,同时,解耦子空间上对组合标签的合并削弱了训练集和测试集之间的域差异带来地影响。测试过程中,综合两个子空间上的特征距离预测测试样本的组合标签,能够考虑到任意不同标签特征间的差异性。本文所提出识别模型利用解耦的思想同时对视觉特征之间的共性和差异性进行学习,以获得属性和类别概念,进而实现对复杂概念的判别。2.本文提出基于判别和重建的未见组合识别模型。为了保证子空间上特征针对特定概念的判别性,不同模态特征的语义一致性,以及解耦过程中视觉特征的完备性,进一步优化整个识别模型,本文引入了判别模块和重建模块。基于解耦的未见组合识别模型目的是分别学习属性概念和类别概念,但是只使用相对距离对视觉特征进行约束,无法保证两个子空间上的特征在特定概念上的判别性。因此,本文引入判别模型,分别对属性空间和类别空间上的视觉特征进行属性和类别的分类,以增强子空间上的特征的判别性。此外,本文引入语义重建模块和视觉重建模块。语义重建模块通过两个子空间上的视觉特征分别重建属性和类别的词向量,以确保该空间上语义特征和视觉特征之间的语义一致性。视觉重建模块将解耦后的特征组合和交叉组合以重建输入的视觉特征,从而保留输入视觉特征的判别性,促进模型对复合概念的理解。论文在数据集MIT-States和UT-Zappos上进行了大量的实验,结果表明本文提出的模型可以很好的解决未见组合识别的问题,并且结果远远优于当前最高水平。