论文部分内容阅读
得益于深度学习技术的发展,基于这一技术的各类方法在模式识别、自然语言处理等领域中取得了傲人的应用成果,极大地推动了智能算法的应用落地进程,但基于深度学习理论的各类方法取得良好泛化性能的一个重要前提是使用大量带标注的样本对模型进行训练,因此构建一个性能优良的深度学习模型需要付出较高的人力和时间成本。事实上,人类具备快速学习新事物的能力,对于一个未曾见过的全新事物,人类往往能够在有限的几次观察中快速抽象出该事物的重要特征,并能够准确识别该事物的新实体。受此启发,研究者们开始尝试通过少量带标注的样本构建泛化性能优良的模型,小样本学习问题也就此诞生。小样本学习任务要求使用少量带有标注信息的待识别类样本构建性能优良的分类器模型,本文针对小样本学习任务展开详细分析,并深入研究了影响小样本学习模型性能的关键因素,最终从样本特征分布、样本数量和集成学习三个角度提出创新方法。本文的主要研究内容如下:1.阐述小样本学习问题的来源和研究意义,介绍小样本学习中所涉及的基本方法和理论,详细分析各类经典的小样本学习方法的设计思想,总结构建小样本学习方法的基本流程。2.针对经典的小样本学习方法当中特征提取器的非线性映射能力较弱的问题,提出定向特征偏移网络,该网络能够将样本对应的原始特征向对应的原型估计进行偏移,从而实现同类样本聚集在对应类原型估计周围的效果。经实验证明,该网络能够有效减小同类样本特征之间的类内距离,从而降低分类难度,提升模型的分类准确率。3.为解决定向特征偏移网络中存在的原始类原型估计稳定性和准确性低的问题,提出两种在特征空间中进行数据增强的特征增强方案。结合这两种特征增强方法,定向特征偏移网络中的原始原型估计的稳定性和准确性将得到提升,从而间接提升特征偏移的质量,并最终影响整体模型的分类效果。实验证明,两种特征增强方法都将有效提升模型的最终分类效果。除此之外,由于半监督定向特征偏移网络模型中存在诸多随机计算过程,这与集成学习方法的要求相符,因此还将尝试使用集成策略构建用于解决小样本学习问题的集成模型。实验证明,集成学习方法在小样本学习问题当中行之有效。