近年来,深度学习在人工智能领域中飞速发展。在计算机视觉领域中,深度学习更是取得了瞩目的成绩。然而,绝大多数的任务场景都需要大量的有标签数据进行训练,这为那些难以获取数据以及标注成本高昂的任务带来了困难。除此之外,新类别在某些场景中会持续增加,在没有任何新类别样本的情况下,如何对该类别具备一定的识别能力也是一大挑战。针对上述难题,本文对少样本和零样本识别任务分别进行了研究。对于少样本识别,目标类别仅提供少量有标签样本。这一特点要求学习器具备快速学习的能力。本文基于元学习的思想,通过构造同分布的元学习任务来学习任务之间通用的元知识,从而在最大程度上减少了对新任务的学习成本。本文首先提出了记忆增强型紧凑双线性网络(MCBNet),把样本与类别间的相似性度量作为元知识,通过空间注意力机制和记忆增强技术来构造任务相关的特征表示,并使用紧凑双线性池化技术得到融合表征。通过一系列实验表明,MCBNet 在 Omniglot、miniImageNet、tieredImageNet 图像数据集以及UCF101、UCF11、HMDB51视频数据集上都取得了不错的效果。最后,本文提出了紧凑双线性池化的可选替代方法——逐元素卷积池化,它本质是固定距离度量用神经网络实现后的非线性推广形式。实验表明,紧凑双线性池化在特征质量较差的情况下有着更好的表现,而逐元素卷积更适用于特征质量较好的场景。对于零样本识别,目标类别不提供任何样本实例,但每个类别都有与之相关的语义表征。因此,零样本识别关注的是视觉样本特征与语义表征之间兼容度的学习。本文首先从度量学习的角度,针对不同兼容度函数以及嵌入空间对零样本识别效果的影响进行了讨论。随后指出了由于类别分布差异造成的特征重要性差异的问题,并基于能够合成不可见类别样本特征的特征生成网络进行改进,提出了以元学习逐任务训练方式为基础的Meta-WGAN。与特征生成网络不同,Meta-WGAN是类别无关的生成式模型,它的学习目标是根据提供的语义表征生成指定目标类别的合成样本特征。由于Meta-WGAN是通过在基类别上训练的度量学习模型来产生目标合成样本的分类损失以指导WGAN的训练,因此能够合成高质量的目标类别样本特征,从而大幅度减少度量学习的难度。通过在CUB、AWA、SUN、FLO图像数据集以及UCF101、HMDB51、Olympic视频数据集上的实验表明,Meta-WGAN生成的特征质量要优于特征生成网络,并且在结合了基于紧凑双线性池化和逐元素乘积的度量学习模型后,效果能够得到进一步的提升。