论文部分内容阅读
兴起于上世纪60年代的神经网络,在近十年开始大放异彩。作为复杂函数逼近器的深度神经网络,其有效性使我们在众多领域的基准上实现了突破。使用某种形式的深度学习模型被广泛运用于现实世界,例如人脸识别、语音助手和自动驾驶等。
然而深度学习中的大多数模型都是确定性模型,其输出的预测缺乏不确定性度量,是一种过度自信的预测。这对于严肃领域中的决策却是十分致命的,轻则造成经济损失,重则危害生命。不确定性度量是信息论中的一个重要研究方向,它体现了预测的置信度,了解预测中的不确定性度量能够帮助我们做出更好的决策。本文的主要研究内容如下:
首先对深度学习的理论基础进行了介绍,分析了深度学习中两类基本任务:分类任务以及回归任务的一般范式。针对这两类任务,介绍常用的深度学习技巧:包括正则化方法、梯度下降优化方法、权重初始化等。
其次,研究分析了深度学习中其预测的不确定性的两个主要来源:偶然不确定性和认知不确定性。详细阐述了这两种不确定性产生的原因和相关形式,并分别针对分类任务和回归任务,阐述了度量这两种不确定性的动机和方法。
再次,针对图像分类领域中的传统卷积网络无法进行不确定性度量的问题,提出了贝叶斯卷积神经网络,对网络的权重引入高斯分布,使其权重不再是单一的点估计,从而使得预测能够进行不确定性度量。通过在基准的分类数据集进行实验,证明了贝叶斯卷积网络能够实现与传统卷积神经网络的准确率相当的同时,还能对其预测进行不确定性度量,证明所提算法的可行性和有效性。
最后,针对自动驾驶领域对于目标检测的高要求,即检测高精度的同时保持高速度,引入不确定性度量改进YOLOv3算法,提出了高斯建模YOLOv3。该算法对YOLOv3中的预测目标框坐标进行高斯建模,重构损失函数,从而获得了预测目标框坐标定位中的不确定性度量。接着,利用该坐标定位的不确定性度量信息,改进检测的评判标准,从而在几乎不损失YOLOv3的检测速度的同时,提高了YOLOv3的检测精度。实验表明,所提算法高斯建模YOLOv3的平均精度相比YOLOv3,在KITTI数据集上提高了3.07个百分点,在BDD数据集上提高了3.4个百分点,其帧率达到43.07FPS,仅比YOLOv3低0.5FPS,能够达到实时检测的标准。
然而深度学习中的大多数模型都是确定性模型,其输出的预测缺乏不确定性度量,是一种过度自信的预测。这对于严肃领域中的决策却是十分致命的,轻则造成经济损失,重则危害生命。不确定性度量是信息论中的一个重要研究方向,它体现了预测的置信度,了解预测中的不确定性度量能够帮助我们做出更好的决策。本文的主要研究内容如下:
首先对深度学习的理论基础进行了介绍,分析了深度学习中两类基本任务:分类任务以及回归任务的一般范式。针对这两类任务,介绍常用的深度学习技巧:包括正则化方法、梯度下降优化方法、权重初始化等。
其次,研究分析了深度学习中其预测的不确定性的两个主要来源:偶然不确定性和认知不确定性。详细阐述了这两种不确定性产生的原因和相关形式,并分别针对分类任务和回归任务,阐述了度量这两种不确定性的动机和方法。
再次,针对图像分类领域中的传统卷积网络无法进行不确定性度量的问题,提出了贝叶斯卷积神经网络,对网络的权重引入高斯分布,使其权重不再是单一的点估计,从而使得预测能够进行不确定性度量。通过在基准的分类数据集进行实验,证明了贝叶斯卷积网络能够实现与传统卷积神经网络的准确率相当的同时,还能对其预测进行不确定性度量,证明所提算法的可行性和有效性。
最后,针对自动驾驶领域对于目标检测的高要求,即检测高精度的同时保持高速度,引入不确定性度量改进YOLOv3算法,提出了高斯建模YOLOv3。该算法对YOLOv3中的预测目标框坐标进行高斯建模,重构损失函数,从而获得了预测目标框坐标定位中的不确定性度量。接着,利用该坐标定位的不确定性度量信息,改进检测的评判标准,从而在几乎不损失YOLOv3的检测速度的同时,提高了YOLOv3的检测精度。实验表明,所提算法高斯建模YOLOv3的平均精度相比YOLOv3,在KITTI数据集上提高了3.07个百分点,在BDD数据集上提高了3.4个百分点,其帧率达到43.07FPS,仅比YOLOv3低0.5FPS,能够达到实时检测的标准。