在计算机视觉领域,语义分割是一项十分基本和重要的任务。随着计算机硬件性能,尤其是GPU用于数值计算技术的不断进步,深度学习得以不断发展。全卷积神经网络的出现,使得基于深度学习的语义分割方法取得快速地发展,然而基于视频数据的分割方法获得了较少的关注。视频数据相比于图片数据,多了一维时间序列信息,如何更有效地利用该信息对科研人员提出了挑战。另外,对于智能决策系统来讲,预测未来的能力对于决策来讲具有现实意义。例如智能驾驶系统以及机器人巡航系统,都需要对当前的场景进行感知和决策,这其中语义分割起了很重要的作用,对于语义分割预测的研究还处于起步阶段,如何更好地建模时空关系也是大家研究的一个重点。针对语义分割问题,本文从提高当前帧的语义分割性能出发,尝试对相邻帧之间的时序和空间特征进行建模,来获取更好的分割特征。一是提出了时序建模模块,通过设计掩码以及门控激活操作对时序和空间特征进行建模。二是在解码产生分割图的过程中,通过设置依时间衰减的特征融合方案来融合历史信息,以此来获取分割时更好的特征表示。针对语义分割预测任务中的两个问题,即小物体缺失以及运动物体预测偏移现象,分别提出了不同的解决方案。首先,对于小物体缺失问题,本文提出了帧间的注意力机制,利用前一帧的上下文信息对后一帧进行语义细节补充,提高非显著物体的语义表达。其次,对于预测过程中运动物体的偏移现象,本文提出了在卷积长短期记忆网络中融入可变形卷积,增强标准卷积所缺乏的建模位置变化的能力。