图像语义分割作为基础的计算机视觉处理任务,其本质上是利用对像素点的分类把图像划分为若干个不同且有意义的区域。从宏观上来看,语义分割是场景理解的必要步骤,是将图像由具体变为抽象的过程。随着计算机视觉的发展,语义分割在自动驾驶、医疗诊断、遥感图像分析等领域中具有非常重要的应用价值。近年来,基于全卷积神经网络的语义分割方法作为一个较新的研究方向受到了广泛的关注。在无数研究人员的共同努力下,基于深度学习的语义分割技术显然已相对成熟,但目前仍然存在一些问题有待优化。其一,为获取较大感受野会使得特征的分辨率下降从而导致细节信息的丢失;其二,深层次的特征提取网络由于卷积的堆叠使得物体边缘部分的特征表示不明显;其三,不同网络层中的特征信息都有助于优化最终的分割结果,但是简单的融合特征可能并不会带来理想的效果。本文针对这些问题,通过研究现有的模型,提出了相应的改进策略。论文主要研究内容及成果具体如下:（1）针对深度网络中由于下采样导致细节信息丢失的问题,本文在第三章中以Deep Lab V3+为基础结构,提出了基于边缘特征优化的双流语义分割算法。该算法以传统的RGB图像与一阶梯度图像作为输入,通过并行的网络结构同时处理语义信息与边缘信息。在特征提取过程中,本算法新设计了一个特征融合模块用于实现两个分支间信息的交互,从而帮助边缘流在简单的结构下快速过滤掉一阶梯度图像中无用的噪声信息。在解码阶段,本算法通过特征合并利用学习到边缘信息帮助语义流恢复丢失的空间细节信息,从而获取更加精细的分割结果。（2）针对卷积网络中特征平滑的问题,本文在第三章的基础之上,提出了基于稀疏注意力的双流语义分割算法。该网络以双流语义分割模型为基础,通过在解码阶段加入新设计的稀疏注意力模块帮助网络优化部分向量的特征表述,提升网络分割的性能。经典的自注意力模型通过密集的相似性建模虽然可以有效地强化语义特征的特征表示,但是其带来巨额的资源消耗问题对于一些计算资源紧缺的研究人员来说是不可以接受的。在保证性能的前提下,本算法在原始的自注意力基础之上稀疏化了模型中关键的0)和0)两个矩阵,而后通过稀疏的相似性建模改善计算资源消耗的问题。此外,为保证稀疏注意力能够捕获密集的上下文特征,本文受K-means算法的启发,提出了类注意力模型来优化向量与分类中心的距离,并将其嵌入到了稀疏注意力模块中。（3）针对深度网络中细节信息丢失以及特征融合问题,本文在现有的网络基础之上,提出了基于多尺度特征融合及边缘特征学习的语义分割算法。低层特征分辨率高、卷积的感受野小,包含较多有用的位置、细节信息,但是对语义的抽象能力差。相反,高层特征卷积的感受野大,具有更强的语义信息,但是分辨率低,对细节的感知能力较差。本方法同样以经典的Deep Lab V3+网络为基础,通过先自浅到深、再自深到浅的多尺度特征融合模块整合不同网络层中有用的语义信息及空间边缘信息。在解码阶段辅以新设计多任务解码网络,通过预输出监督学习边缘特征及语义特征来帮助多尺度特征融合模块更精确地过滤掉无用的噪声信息。在最终的分割阶段,通过合并学习到的语义特征和边缘特征来进一步细化的分割结果,提升网络的整体性能。最后,文章在公开数据集上通过大量实验分析论证了本文所提算法的优良性能。