论文部分内容阅读
随着深度卷积网络在计算机视觉领域的兴起,基于深度网络的目标检测模型逐渐成为目标检测领域的主流方法。特别地,基于候选区域的两阶段深度目标检测模型将目标检测问题转化为对候选窗口的分类以及位置回归问题,并取得了优越的检测性能。两阶段深度目标检测模型可分为候选窗口模块(第一阶段)与ROI(Region of Interest)处理模块(第二阶段)两个部分。对于一张输入图片,候选窗口模块首先会从中产生数百个候选窗口,ROI处理模块会对这些窗口进行分类判断它们是否包含物体,同时对窗口位置进行精炼以保证窗口与真实标注窗口间具有更高的Io U(Intersection over Union)。尽管两阶段目标检测模型在目标检测领域取得了很大的成功,但依然存在如下问题,例如:1)训练过程中,候选窗口模块无法从ROI处理模块得到任何关于候选窗口位置的反馈信息;2)ROI处理模块对候选窗口的特征提取过程无法对物体形变进行有效的建模;3)ROI处理模块的损失函数均等的对待所有候选窗口样本,无法保证高效训练。本文主要针对这些具体问题展开研究,并提出有效解决这些问题的方法。具体地,本文的研究内容如下:(1)针对训练过程中候选窗口模块与ROI处理模块无法反向通信的问题,本文设计了候选窗口反向位置交互模块。该模块通过记录从锚窗口到候选窗口产生的整个过程,同时设计独特的反向位置交互ROI池化在ROI处理模块与候选窗口模块之间建立了一条关于候选窗口位置的反向交互路径。此反向交互路径的主要作用是实现ROI处理模块对候选窗口位置信息的求导,并将导数回传。在对此导数的计算过程中使用了大量的图像信息,这也就意味着候选窗口能够在训练过程中直接通过图像内容进行位置学习,如此较大提升了训练过程的有效性。在PASCAL VOC与MS-COCO数据集上的实验结果表明,候选窗口反向位置交互模块能够有效地提升不同的两阶段目标检测模型的检测性能。(2)针对ROI池化无法有效处理物体形变的问题,本文设计了形变子网络来对物体形变进行建模。该形变子网络能够有效地将传统DPM(Deformable Part Based Model)方法引入深度网络,其主要分为两个部分:形变系数模块以及形变池化模块。形变系数模块负责生成形变系数,而形变池化模块会将候选窗口分成不同的小区域,然后借助形变系数计算形变损失从而在不同的小区域中寻找不同物体部位的最佳匹配位置。通常情况下,形变子网络会设置不同小区域的中心点为基准位置,然后依托此基准位置计算形变损失。为了进一步提升形变子网络的性能,本文进一步地设计了升级版形变子网络,其能够通过网络为不同小区域生成基准位置。实验结果表明形变子网络能够通过物体部位匹配来解决形变问题,并且能帮助不同两阶段目标检测模型提升检测性能。(3)针对深度网络难以对物体形变进行有效建模的问题,本文设计了形变模板网络。该形变模板网络能够在深度网络中使用模板对目标物体进行表示。模板会将物体分成不同的部位,不同物体部位会以一种可形变的方式在空间上进行组织,如此则能够有效地对物体形变进行建模。相比于形变子网络,形变模板网络更为灵活也更为有效。形变模板网络主要分为两个模块:模板产生模块以及部位匹配模块。模板产生模块主要负责为目标物体产生模板,而部位匹配模块会基于此产生的模板来对物体不同的部位进行匹配。匹配过程会同时考虑物体部位的检测得分以及物体部位的形变损失。在PASCAL VOC与MS-COCO数据集上的实验结果表明,形变模板网络能够取得很好的目标检测性能。(4)针对ROI处理模块损失函数均等对待所有候选窗口样本的问题,本文设计了区间标准化加权策略。本文首先将对MS-COCO验证集检测结果的假阳性检测窗口数量与真阳性检测窗口数量设置为评价指标。然后分析了不同加权策略对于这两个评价指标的影响。在此基础上,本文进一步地提出了区间标准化加权策略。该区间标准化加权策略可以分为两个子策略:基于Io U区间划分的标准化加权策略以及基于前景得分区间划分的标准化加权策略。这两个子策略分别负责对负样本以及正样本的加权。在MS-COCO数据集的实验结果表明基于Io U区间划分的标准化加权策略能够有效地降低假阳性检测窗口数量,而基于前景得分区间划分的标准化加权策略则能够在高Io U阈值下有效地提升真阳性检测窗口数量。更重要的是,区间标准化加权策略主要应用于训练阶段,其不会对基础模型的检测效率有任何的影响。综上所述,针对基于候选区域的两阶段深度目标检测模型在不同阶段所存在的主要问题,本文提出了能够解决这些问题的更有效的目标检测模型。在PASCAL VOC与MS-COCO两个主流目标检测数据集上多角度的实验分析验证了本文所提出目标检测模型的有效性。目标检测是计算机视觉领域的应用基础研究,很多的计算机视觉任务都要在目标检测的基础上完成。本文的研究工作能够有效提升目标检测的检测性能,对于计算机视觉的发展具有重要的现实意义。