在图像处理与计算机视觉迅猛发展的过程中,大规模数据及标签的监督学习是人工智能的关键因素,然而,在实际场景中,有些类别难以获取足够多的数据、标签注释需要花费极高的人力物力,以及传统的监督学习无法识别未见过的类别,这些问题使得零样本学习成为目前更现实且急切的需求。针对上述困难,本文主要研究中小规模数据下的零样本及广义零样本图像分类与视频动作识别问题。零样本学习赋予了模型像人类一样学习的能力,通过将可见类中的知识迁移至不可见类,可以对训练中从未见过的图像或视频以正确分类。因此,当面对新类别时,不用重新训练,只需要融合之前学到的知识,就可以拥有识别从未见过的新类别的能力。然而,现有的方法仍然存在许多需要解决的问题。首先,针对不可见类数据缺失与映射域漂移问题,本文提出了一种基于变分自编码器的模态匹配零样本学习方法MA-VAE。该方法利用变分自编码器充分挖掘视觉和语义之间的关系,在将图像特征和语义特征投影到公共隐空间,并引入JS散度以对齐视觉特征与语义特征的分布,实现了模态对齐与高质量的不可见类样本的合成。该算法不仅仅提供了强大的理论支撑,同时实验证明了良好的泛化性能,在多个数据集上都取得了比较理想的结果。其次,针对生成特征判别性不高的问题,在模态对齐MA-VAE模型的前提下,本文提出了MASL-VAE以实现生成特征同类相互聚集,异类相互分散的目标。该方法改进了传统自编码器隐特征区分性不高的缺点,并且在训练中不需要用到标签信息,仅仅通过正负样本隐特征之间的距离构建的Softmax损失函数就能生成不可见类的合成特征,从而大幅度减少了分类器识别的难度。为了验证本文算法的有效性,本文在图像数据集CUB、SUN、AWA1、AWA2与视频数据集UCF101、HMDB51上进行了零样本与广义零样本实验,并与目前主流的零样本学习算法进行了比较。通过实验结果的分析探究与可视化,证明了本文所提出的MASL-VAE相比于其他生成模型能有效提升分类效果。