语义分割现已成为深度学习和计算机视觉领域的研究热点,在自动驾驶,医疗影像分析,地理信息系统等领域发挥着不可替代的作用。然而由于语义分割对图片进行逐像素分类,数据量非常巨大,基于深度学习的图像语义分割方法均十分缓慢。通过光流来重复使用语义分割特征图是加快语义分割速度的一个优秀方法。本文重点对基于深度学习的视频语义分割进行研究,详细分析并阐述了深度学习和视频语义分割理论。本文分析了视频语义分割网络DVSNet并进行了改进。DVSNet的主要问题有两点,一是平均速度较低和延迟问题,由于图像分割网络速度缓慢,严重拖慢了网络整体的平均速度,同时整体网络必须等待图像分割网络,造成关键区域的输出速度远远低于平均速度,即所谓的延迟问题,延迟问题使得DVSNet不适合对时间敏感的任务;二是在可置信度阈值大于95的高精度任务中,判别网络将大量图像区域送入图像分割分支处理,加之图像分割分支存在额外计算损耗,造成平均速度大幅下降到21.9fps。针对上述两个问题,本文进行了两点改进:(1)为网络引入了更快的图像分割网络ICNet,淘汰了缓慢的Deeplab-Fast,大幅度地加快了网络平均速度,并减少了延迟,以仅使用图像分割分支的精度作为基准进行对比时,精度下降程度相比DVSNet略有改善。实验表明在Cityscapes Sequence数据集上,可置信度阈值为92时,网络的整体速度从DVSNet的18.8fps提升到45.7fps,mIoU下降率降低到1.67%,关键区域平均处理时间从46.2ms下降到8.7ms,极大地缓解了延迟问题。(2)设计了一种复合关键帧调度策略。在高精度任务中,使用固定间隔调度策略,其他情况下使用判别网络策略。高精度任务中关键帧更新频率较快,抵消了固定间隔调度策略不能根据关键帧分布情况灵活调度的劣势,同时固定间隔调度策略的图像分割分支不具有额外计算损耗。最终在间隔取2时,相比可置信度阈值为95的判别网络策略,速度提升到35.7fps,精度提升到76.54%mIoU。在其他任务中,固定间隔调度在间隔较大时因为不能自适应视频数据的关键帧分布模式造成精度表现不稳定,而判别网络策略能够稳定地输出较高精度的结果,因而继续使用判别网络策略。