零样本学习(Zero-Shot Learning,ZSL)的目的是仅使用可见类样本的视觉特征和语义表示来训练模型,然后将未见类的语义表示作为桥梁,使模型具有识别未见类样本的能力。现有的零样本学习方法一般通过使用未见类的语义表示来生成与之对应的视觉样本,从而解决未见类中视觉数据缺失的问题。然而,这种基于生成模型的零样本学习方法仍然存在以下问题:首先,零样本学习的训练数据集中各个类别的图像数目较少,导致现有的生成模型的泛化能力受到限制。其次,大多数方法在训练过程中忽略了未见类别的语义信息。最后,现有的方法都是基于卷积神经网络(Convolutional Neural Network,CNN)特征,而其与RGB图像相比包含的信息量较少。针对上述问题,本文提出以下解决方案:(1)针对训练样本较少的问题,通常采用数据增强策略如水平翻转、轻微旋转、轻微缩放等来提高模型的泛化能力,但是基于生成模型的零样本学习方法的输入为CNN特征,因此上述的数据增强策略难以实现。数据混合机制(Mixup)通过构建虚拟的训练示例,来应对传统数据增强策略在CNN特征上实现困难的挑战。本文分别在预训练分类器与生成对抗网络中运用该机制并在CUB、AWA2、APY、SUN数据集上进行消融实验,与现有的零样本学习方法相比,模型的分类准确率均有提升。(2)针对如何利用未见类的语义表示的问题,本文通过采用一种稀疏编码方法从语义表示上构建可见类和未可见类之间关系,对视觉特征的生成加以约束,加强相似类别的视觉特征之间的相似度,降低不相似类别的视觉特征之间的相似度关系。本文在生成器中采用类别关系约束机制进行消融实验,并通过TSNE数据降维的方法将生成的未见类样本可视化。实验结果表明类别关系约束机制通过提升未见类视觉样本的生成质量,进而提高零样本学习模型的识别准确率。(3)本文分别在CUB与AWA2数据集上进行基于RGB图像生成零样本学习方法的实验。实验结果表明由于数据集的图像质量较差以及网络模型较为简单,导致生成的未见类RGB图像的质量较差,从而使得基于CNN特征生成模型的分类准确率高于基于RGB图像生成模型的分类准确率。