论文部分内容阅读
自适配归一化通过可学习权重集成批量归一化、实例归一化和层归一化三种单一方法,平滑了目标检测与分割任务中神经网络训练阶段的损失优化,实现了模型加速训练。但其学习权重由Softmax函数决定,每一次计算需同时使用上述三种单一方法,稀疏性较差,有计算冗余且存在次要方法对主要归一化的影响,限制了归一化特征对任务精度的进一步提升。为减少归一化操作的计算冗余,提升任务精度。本文提出一种前向传播的权重学习改进方法,在不增加额外计算开销的前提下提升权重取值的稀疏性,提高主要归一化方法的影响。同时采用图像信息鲁棒性强的群组归一化取代层归一化,提出群组自适配归一化方法,提升了传统目标检测与分割任务的精度。并借助无监督领域自适应学习,在传统检测与分割模型中引入对抗训练,结合群组自适配归一化方法,进一步约束特征统计分布,平滑训练阶段损失优化,提升了跨领域目标检测与分割任务的精度。本文的主要研究内容及成果如下:(1)提出Logarithmicmax前向传播的权重学习形式,取代原自适配归一化中的Softmax函数,令权重取值可以为0或1,使权重取值更合理,输出分布更稀疏。另外,前向传播无需额外求导梯度,计算简单,优化阶段不会对梯度下降造成干扰。(2)采用对图像信息鲁棒性较好的群组归一化取代层归一化,结合改进权重学习方法提出群组自适配归一化。将以ResNet-50为基础的Faster R-CNN模型在开源Microsoft COCO 2014验证集的目标检测平均测试精度由自适配归一化条件下的32.9%提升至34.1%。将同数据集以ResNet-50和FPN组合网络为基础的Mask R-CNN模型实例分割平均测试精度由自适配归一化条件下的36.4%提升至37.5%。(3)借助无监督领域自适应方法,在传统目标检测模型Faster R-CNN中加入梯度反向层引入对抗训练,结合群组自适配归一化进一步约束源域和目标域之间的特征统计分布,平滑训练损失。将开源数据集SIM 10k到Cityscapes的跨领域目标检测精度由39.7%提升至44.1%,Cityscapes到Foggy Cityscapes目标检测精度由27.9%提升至31.1%。(4)在跨领域语义分割模型DA-DeepLab的鉴别器网络引入小批量鲁棒性较好的群组自适配归一化,约束数据统计分布,将开源数据集GTA 5到Cityscapes的跨领域语义分割精度由40.8%提升至43.7%。综上,本文提出并证实了群组自适配归一化可提升传统目标检测与实例分割任务的精度,并可胜任跨领域目标检测与语义分割工作。