视觉语义分割是计算机视觉领域的关键问题之一，其目标是对图像、视频等数据在像素级别上进行分类，给出每一个像素点的标签，这是一种应用于场景理解的任务。因其在医疗诊断、自动驾驶、机器人、增强现实等领域广阔的应用前景，视觉语义分割技术成为研究的热点。随着深度学习在计算机视觉领域取得的诸多突破性成果，大量的深度学习方法被运用在语义分割中。本文以深度学习理论为基础，研究了基于卷积神经网络的视觉语义分割技术，包括对图像和视频的语义分割。
　　本文的主要工作总结如下：
　　1.针对语义分割中特征提取不充分、特征利用不充分、参数量大的问题，提出了多特征融合的轻量化图像语义分割网络。所提出的网络基于“编码器-解码器”结构，在“编码器”部分，网络结合深度可分离卷积和密集连接，能够将不同网络层的特征联系起来，增强了网络提取特征的能力，同时降低网络的参数量，使得网络结构轻量化；在“解码器”部分，网络采用了一种优化的特征融合方式，将“编码器”提取到的特征与“解码器”中对应的特征相融合，提升了网络的准确率。在训练过程中，网络采用带权重和指数参数的损失函数，可以使损失函数更快地收敛，减少训练时间，并且对于准确率的提升也有帮助。以医疗辅助诊断为应用背景，多特征融合的轻量化图像语义分割网络在视网膜眼底图像数据集DRIVE上进行了验证，取得了目前最好的分割效果。
　　2.针对语义分割中计算复杂、运行速度慢、难以应对视频实时处理和语义分析的问题，提出了结合光流的视频语义分割网络。视频与单一图像不同，视频帧与帧之间存在着大量的时空相关性，所提出的网络可以有效利用视频帧与帧之间的相关性，达到降低网络计算复杂度、提高网络运行速度的目的。在对视频的处理过程中，网络对于某些稀疏分布的视频帧进行图像语义分割，而对于其余帧，则通过光流进行特征传播，进而得到语义分割结果，这种方法大大提升了网络对视频的处理速度。以自动辅助驾驶为应用背景，结合光流的视频语义分割网络在城市街景数据集Cityscapes和CamVid上进行了验证，取得了更好的效果。
　　3.针对视频语义分割中如何更好地选取关键帧的问题，提出了自适应视频语义分割网络。在对视频的处理过程中，需要对某些稀疏的帧进行图像语义分割处理，这些稀疏的帧就是关键帧，关键帧的选取是一个重要的问题。为了更好地选取关键帧，在所实现的网络中提出了一种自适应关键帧选择策略，可以根据场景变化自适应确定关键帧，以实现在处理速度和分割精度上更好的平衡。同样以自动辅助驾驶为应用背景，自适应视频语义分割网络在城市街景数据集Cityscapes和CamVid上进行了验证，取得了更好的效果。