论文部分内容阅读
深度学习背景下少量样本的图像分类方法是目前计算机领域中的一个重要问题,在实际应用中,通常数据采集困难且标注成本巨大,而深层神经网络包含大量的参数,当训练样本数据量较小时,假设空间中复杂的决策面使模型拒绝稍有偏差的样本,容易导致模型过拟合而影响分类精度。为了缓解过拟合,本文研究如何从少量样本中学习到足够的知识并建立一个泛化性能优异的模型,分别从大数据集至小数据集的迁移学习、神经网络损失函数以及针对小样本的神经网络模型集成三个方面来开展基于神经网络的小样本图像分类方法研究,主要工作如下:(1)研究如何将从大数据任务中学习到知识的模型迁移至小样本分类任务中。由于小样本数据集中数据量不足,容易导致模型训练不充分而使分类性能不佳的问题,本文基于迁移学习思想,研究如何将在大数据集上预训练的模型调整后应用于小样本数据特征的提取,节约训练时间并充分利用模型已经学习到的属性及泛化表示,提取到有用特征。(2)提出一个应用于小样本图像分类的神经网络损函数。深度神经网络模型提取图像特征时由于相似类别间容易混淆,难以提取到具有辨别力特征,针对该问题,本文提出一个应用于神经网络的损失函数,引入混淆率加权软标签作为类别间相似性度量的控制器,动态地给予样本相应的注意,特别是对于那些在训练过程中容易被错误分类的样本,迫使模型学习到有区别的特征,减少类别间的混淆,扩大类间的方差。在LabelMe和Caltech101两个小样本数据集上实验结果表明,所提出的损失函数泛化性更强且拥有更好分类性能。(3)提出一种新的并行快照集成方法。原始快照集成方法没有考虑到基分类器间的相关性,导致集成模型方差较高且训练数据规模较小时容易过拟合。针对该问题,本文提出并行快照集成方法,在多个快照集成方法中,通过相对平均KL散度选择准确度最高且差异性最大的基模型,并对其进行重组,为重组快照集成提供一种新的选择。该方法在UIUC-sports、LabelMe、15Scenes和Caltech101这4个小样本数据集上的实验结果表明该集成方法能够有效缓解过拟合。