语义分割任务要求对输入的图像标注其所有像素的类别信息。它是一种密集型的分类任务。作为计算机视觉领域近些年来兴起的热门研究方向,语义分割技术借着深度学习与硬件计算设备进步的东风快速地发展了起来,广泛地应用于智能驾驶、医疗影像等领域之中。现实场景中,由于城市环境的复杂性,智能驾驶应用的安全性与实时性的要求,此领域的语义分割技术在同时保证精度与推理速度上面临着巨大的挑战。因此如何优化语义分割网络结构,提高网络的特征提取能力、降低其高计算力的要求是目前研究的重点。本文以用于语义分割的全卷积神经网络相关算法为研究基础,重点研究了使用注意力机制对语义分割网络精度的提高效果。提出了基于混合自注意力机制的语义分割算法,在城市场景数据集City Scapes上验证了它的效果。针对网络实时性差的问题,提出一种基于双流结构改进的实时语义分割网络。本文主要内容如下所述:（1）基于混合自注意力机制的语义分割网络:为了提高骨干特征提取网络的特征提取能力,我们将混合注意力模块（CBAM,Convolutional Block Attention Module）融合进了Res Net18的各个单元中,让其拥有了自适应性的注意力权重学习能力。为了提高解码器阶段的特征融合能力,我们将自注意力模块（SAM,SelfAttention Module）加入到了上采样的过程中。但是传统的Non-local操作在高分辨率的特征图处理上需要十分巨大的显存与超长的推理时间。针对这个问题,我们提出了一种基于像素聚集重组的自注意力模块,降低了自注意力模块的显存需求,提高了其推理速度。降低了冗余计算的同时基本保证了自注意力模块的精度提升效果。在经过注意力优化模块（ARM,Attention Refinement Module）的优化下融合多层特征产生了最终的输出。借此我们搭建了混合自注意力机制的语义分割网络。在City Scapes数据集上MIo U达到了75.6%,FPS维持在了63。（2）基于混合自注意力机制的实时语义分割网络:在实际场景中,对于语义分割网络的实时性要求可能比准确度要求更高,于是我们借鉴了Bi Se Net中双流结构的设计,破除了传统的U型结构的设计,将原有的特征提取网络作为上下文信息提取分支,额外引入了一条空间特征信息提取分支。并且将前文所提到的多种注意力模型加入到网络中。减少了上采样的次数,使用特征融合模块（FFM,Feature Fusion Module）融合了两个分支的信息。我们在City Scapes数据集进行实验,取得了MIo U-74.1%、FPS-95的效果。相比于Bi Se Net的MIo U指标提高了1.8%,相比于前文所提出的网络MIo U虽然精度损失了1.5%,但是换来了FPS-32帧的提升。我们也在Cam Vid数据集上进行了同样的测试,取得了MIo U-68.3%、FPS-106的效果。