论文部分内容阅读
图像分类是计算机视觉领域的四大基本任务之一,也是其他三大任务的基础。如何获取更好、更抽象的图像特征表达,是实现图像分类性能提升的关键。卷积神经网络(CNN)作为一种多层、非线性的表示学习方法,可以自动提取原始数据的特征表达,相较传统算法性能优势明显,已成为图像分类领域主流技术。在CNN之中,损失函数决定了整个CNN模型参数的更新过程,是决定网络对原始图像提取的特征表达优劣的重要因素。因此,近年来针对损失函数的相关研究已成为CNN模型泛化性能提升研究方面的热点之一。然而现有损失函数相关的研究工作,特别是面向图像分类任务时,仍存在以下不足:首先,现有工作大多聚焦在单一损失函数的模型优化问题上,缺乏对多损失函数协作优化模型的探讨和分析;其次,现有工作主要围绕CNN倒数第二层特征表达的数学特性展开,缺乏对CNN其他层特征表达数学特性的探索分析,在模型性能的理论分析上仍存在一定局限性;再次,现有工作主要应用于人脸识别、图像检索以及行人再识别等任务。这些任务与图像分类在判别准则上存在本质差异,相应研究成果在应用于图像分类任务时,性能增益有限。针对上述研究现状,本文在理论上首次提出了多损失函数需遵循的两个基本准则,设计了新型的多损失函数协作优化框架—损失迁移(Loss Transferring,LT),有效提升了 CNN模型的泛化性能;通过分析CNN最后一层和决策层特征表达的数学特性,在理论层面首次提出了特征表达的位置特性和无偏特性两个新的特性定义,扩展了 CNN基础理论,进一步通过设计全新的损失函数辅助模型实现了上述两个特性,有效提升了 CNN模型的分类性能。本论文的主要创新点具体总结如下:1)面向多损失函数协作优化CNN问题,论文设计了新型多损失函数协作优化框架—损失迁移(LT),将多损失函数协作优化问题转换成多训练阶段的单损失优化问题。LT借助迁移学习理念,将一个阶段从目标对象中学到的“知识”(即模型参数)传递给下一个训练阶段,实现不同训练阶段所学不同“知识”的融合,有效提升了 CNN模型的泛化性能。同时,为解决不同训练阶段损失函数的选择问题,提出了两个基本准则,以此为基础设计了新型的近邻分界面(Near Classifier Hyper-Plane:N-CHP)损失。进而基于所选损失函数差异,提出了LTMSE,softmax和LTN-CHP,softmax两种训练方法。最后在四个代表性数据集和多个不同CNN模型上对所提理论和方法进行了实验验证。实验结果表明了LT能获得显著的性能提升,同时验证了两个基本准则的有效性。2)从理论上分析了 CNN最后一层特征表达的数学特性,提出了 CNN的“位置特性”(Location Property,LP)。位置特性表明在CNN最后一层,提升CNN模型的分类性能等价于寻找最优的特征映射位置。为找到特征空间中最优特征映射位置,提出了两个特征映射方向:主映射方向(Principal Embedding Direction,PE-direction)和次级映射方向(Secondary Embedding Direction,SE-direction),并在理论上证明了“次级最优特征平面”(Secondary Optimal Feature Plane,S-OFP)在SE-direction上的最优性。以两个映射方向为指导,进一步提出了基于位置特性的损失优化框架:LP-loss。LP-loss包含LPPE和LPSE两部分,并可通过这两部实现特征表达沿PE-direction和SE-direction移动。最后在多个不同的CNN模型和四个代表性数据集上对LP-loss进行了实验验证。实验结果验证了位置特性的正确性,同时也表明了 LP-loss能获得显著的性能提升。3)从理论上分析了 CNN决策层特征表达的数学特性,提出了 CNN的“无偏特性”。无偏特性表明提升CNN模型的分类性能需要保证决策层特征表达中对应于错误类别的元素值互为相等。为实现无偏特性,提出了最小化最大概率约束(Minmax Probability Constraint,MMPC)和指数形式的最小化最大概率约束(Exponential Minmax Probability Constraint,e-MMPC)损失。通过对 softmax损失添加额外的MMPC/e-MMPC损失,可以使CNN模型在最大化正确类别概率的同时最小化所有错误类别的概率。此外,通过梯度分析表明MMPC/e-MMPC可在一定程度上缓解CNN模型梯度消失问题。为解决MMPC/e-MMPC带来的副作用,提出了两阶段再训练策略,进一步提升了 MMPC/e-MMPC损失所带来的性能增益。最后在多个不同CNN模型和四个代表性数据集上对MMPC/e-MMPC进行了实验验证。实验结果验证了无偏特性的正确性,同时表明MMPC/e-MMPC能有效提升分类性能综上所述,本文面向多损失函数协作优化CNN模型的问题,提出了损失迁移训练框架。损失迁移框架通过融合多个损失函数的优势,可有效提升CNN模型泛化能力。同时,通过对CNN最后一层与决策层特征表达数学特性的分析,从理论上提出了 CNN的位置特性与无偏特性。在此基础上,以实现位置特性与无偏特性为目标,设计了 LP-loss和MMPC/e-MMPC损失,提升了 CNN的分类性能。