论文部分内容阅读
视觉语义分割是计算机视觉领域的关键问题之一,其目标是对图像、视频等数据在像素级别上进行分类,给出每一个像素点的标签,这是一种应用于场景理解的任务。因其在医疗诊断、自动驾驶、机器人、增强现实等领域广阔的应用前景,视觉语义分割技术成为研究的热点。随着深度学习在计算机视觉领域取得的诸多突破性成果,大量的深度学习方法被运用在语义分割中。本文以深度学习理论为基础,研究了基于卷积神经网络的视觉语义分割技术,包括对图像和视频的语义分割。
本文的主要工作总结如下:
1.针对语义分割中特征提取不充分、特征利用不充分、参数量大的问题,提出了多特征融合的轻量化图像语义分割网络。所提出的网络基于“编码器-解码器”结构,在“编码器”部分,网络结合深度可分离卷积和密集连接,能够将不同网络层的特征联系起来,增强了网络提取特征的能力,同时降低网络的参数量,使得网络结构轻量化;在“解码器”部分,网络采用了一种优化的特征融合方式,将“编码器”提取到的特征与“解码器”中对应的特征相融合,提升了网络的准确率。在训练过程中,网络采用带权重和指数参数的损失函数,可以使损失函数更快地收敛,减少训练时间,并且对于准确率的提升也有帮助。以医疗辅助诊断为应用背景,多特征融合的轻量化图像语义分割网络在视网膜眼底图像数据集DRIVE上进行了验证,取得了目前最好的分割效果。
2.针对语义分割中计算复杂、运行速度慢、难以应对视频实时处理和语义分析的问题,提出了结合光流的视频语义分割网络。视频与单一图像不同,视频帧与帧之间存在着大量的时空相关性,所提出的网络可以有效利用视频帧与帧之间的相关性,达到降低网络计算复杂度、提高网络运行速度的目的。在对视频的处理过程中,网络对于某些稀疏分布的视频帧进行图像语义分割,而对于其余帧,则通过光流进行特征传播,进而得到语义分割结果,这种方法大大提升了网络对视频的处理速度。以自动辅助驾驶为应用背景,结合光流的视频语义分割网络在城市街景数据集Cityscapes和CamVid上进行了验证,取得了更好的效果。
3.针对视频语义分割中如何更好地选取关键帧的问题,提出了自适应视频语义分割网络。在对视频的处理过程中,需要对某些稀疏的帧进行图像语义分割处理,这些稀疏的帧就是关键帧,关键帧的选取是一个重要的问题。为了更好地选取关键帧,在所实现的网络中提出了一种自适应关键帧选择策略,可以根据场景变化自适应确定关键帧,以实现在处理速度和分割精度上更好的平衡。同样以自动辅助驾驶为应用背景,自适应视频语义分割网络在城市街景数据集Cityscapes和CamVid上进行了验证,取得了更好的效果。
本文的主要工作总结如下:
1.针对语义分割中特征提取不充分、特征利用不充分、参数量大的问题,提出了多特征融合的轻量化图像语义分割网络。所提出的网络基于“编码器-解码器”结构,在“编码器”部分,网络结合深度可分离卷积和密集连接,能够将不同网络层的特征联系起来,增强了网络提取特征的能力,同时降低网络的参数量,使得网络结构轻量化;在“解码器”部分,网络采用了一种优化的特征融合方式,将“编码器”提取到的特征与“解码器”中对应的特征相融合,提升了网络的准确率。在训练过程中,网络采用带权重和指数参数的损失函数,可以使损失函数更快地收敛,减少训练时间,并且对于准确率的提升也有帮助。以医疗辅助诊断为应用背景,多特征融合的轻量化图像语义分割网络在视网膜眼底图像数据集DRIVE上进行了验证,取得了目前最好的分割效果。
2.针对语义分割中计算复杂、运行速度慢、难以应对视频实时处理和语义分析的问题,提出了结合光流的视频语义分割网络。视频与单一图像不同,视频帧与帧之间存在着大量的时空相关性,所提出的网络可以有效利用视频帧与帧之间的相关性,达到降低网络计算复杂度、提高网络运行速度的目的。在对视频的处理过程中,网络对于某些稀疏分布的视频帧进行图像语义分割,而对于其余帧,则通过光流进行特征传播,进而得到语义分割结果,这种方法大大提升了网络对视频的处理速度。以自动辅助驾驶为应用背景,结合光流的视频语义分割网络在城市街景数据集Cityscapes和CamVid上进行了验证,取得了更好的效果。
3.针对视频语义分割中如何更好地选取关键帧的问题,提出了自适应视频语义分割网络。在对视频的处理过程中,需要对某些稀疏的帧进行图像语义分割处理,这些稀疏的帧就是关键帧,关键帧的选取是一个重要的问题。为了更好地选取关键帧,在所实现的网络中提出了一种自适应关键帧选择策略,可以根据场景变化自适应确定关键帧,以实现在处理速度和分割精度上更好的平衡。同样以自动辅助驾驶为应用背景,自适应视频语义分割网络在城市街景数据集Cityscapes和CamVid上进行了验证,取得了更好的效果。