论文部分内容阅读
随着数字采集设备以及社交媒体的普及,网络上存在海量的视频及图像数据。这些海量的数据通过人工收集和标记,可以帮助人们设计监督学习方法来完成不同的识别、分类等任务。然而,收集和标记大量数据是非常困难的,特别是对于细粒度对象和稀有对象而言,人工处理既耗时又昂贵。目前机器学习领域最热门的深度学习模型是由大规模数据驱动的,带标签的数据越多,模型的效果越好。当遇到任务复杂且标记数据少的情形时,模型将很难进行学习。因此,在训练样本不足、样本无标签甚至是零样本的情况下,如何训练模型完成识别和分类任务已成为机器学习和计算机视觉领域研究的新问题。为此,零样本学习成为当前的研究热点之一。其目的是识别所属类别从未在训练过程中出现过的新样本,基本思想来源于人类对物体的识别过程,即通过不同物体之间共享的高级语义属性作为辅助知识来快速识别新事物。目前,零样本学习在物种识别、智能体动作模仿、人脸检测和识别、图像场景分析等不同应用领域被广泛研究。目前多数的零样本学习方法研究属性和图像特征的空间映射关系,虽然模型在训练类别上面性能优越,但是在测试类别由于映射领域漂移和枢纽点问题使其模型性能下降。此外,目前基于映射的方法在更有挑战的广义零样本学习上表现不佳。针对上述问题,本文从零样本学习新方法展开,主要工作包括如下方面:(1)针对于映射领域漂移问题和枢纽点问题,提出了一种基于对抗思想的反向空间映射零样本学习算法。与现有在已知类上学习视觉特征到语义嵌入模型以桥接视觉空间和类别语义空间的方法不同,本文在语义重构和生成对抗框架中通过残差网络模块提出了一种新型反向映射方法(RRGAN)。具体引入反向空间映射、语义重构模块,和生成对抗机制。三者的组合同时解决了映射领域漂移问题和枢纽点问题,有效地提高了零样本学习的性能。(2)在RRGAN的基础上,引入集成学习思想,提出了基于多重网络合作的广义零样本学习方法(CCGN)。虽然RRGAN能有效提高零样本学习方法的性能,但是其在最新的、更有挑战的广义零样本学习上性能表现下降。为提高模型在广义零样本学习上的表现,本文提出一种基于多重网络合作的算法。具体利用不同生成网络对生成的视觉特征进行组合,最终合成更具判别性的视觉特征中心,有效提高了广义零样本学习的性能。(3)RRGAN和CCGAN主要还是基于映射的思想,本文利用目前最新的基于合成和生成的方法,提出了一种基于合成和生成思想融合的广义零样本学习方法(BFSG)。其目的是利用生成对抗网络的生成能力,通过语义属性生成视觉特征以及依赖于语义属性之间相关性,通过语义相关性合成视觉特征。最终,合成未知类类别的样本,零样本学习被转化成传统分类问题。该方法在零样本学习和广义零样本学习上性能表现优越。