作为计算机视觉关键技术,图像语义分割具有重要的研究价值。为了解决传统方法的弊端,使目标更精确的从背景中提取出来,将深度学习与图像语义分割相结合,可以对目标有更好的理解分析。图像语义分割主要是对图像的像素级进行分类然后分割为不同语义的区域。由于卷积神经网络的快速发展,可以通过使用图像和标注训练神经网络的方法,获得能够自主分析和学习图像特征的神经网络,从而大大提升了语义分割的精度。在图像语义分割研究领域内深度学习具有广泛的应用潜力,所以开展基于卷积神经网络的语义分割算法研究具有重大的现实意义。针对图像分割技术所存在的单一模型性能不佳,所导致的图像识别精度不高、类别预测失败的问题,会造成语义分割的效果比较粗糙。本文采用了全局上下文结构模块和多尺度特征融合模块并对其进行改进的语义分割方法。然后运用一种基于CNN的相对质量预测网络,通过回归模型,来检验客观指标与主观判断的一致性,从而对语义分割算法的性能进行评价,通过实验验证了算法的先进性和可靠性。通过将改进模型应用到公开数据集PASCAL和Cityscapes等,实验研究表明,全局上下文结构的引入到图像语义分割中,可以提升0.71%的MIo U值和0.36%的PA值。进一步,再结合选用的解码器模块和改进的多尺度模块后,上述关键值又分别提高了2.05%和0.38%。全局上下文结构可以在不增加大量测试时间的情况下提高测试的准确性。而多尺度特征融合算法可以提高算法的精度,但会影响时间性能。本文模型与基准模型VGG16和残差网络相比,精度都有了一定程度的提高,基本满足实时性要求。通过质量预测网络模型,可以看出其结果与主观评价的性能指标的一致性,具有较好的鲁棒性。