3D场景流是指真实世界中场景表面可见像素点的瞬时三维运动矢量,相比于表示二维运动矢量的光流,场景流能够额外提供第三维的深度变化信息。场景流不仅包含场景中物体的几何结构信息,而且能够建立动态场景在时域上的关联性。研究场景流计算的目的是通过立体图像序列来恢复动态场景中的几何形状和三维运动,因此3D场景流计算及其相关技术研究受到广泛关注,已成为计算机视觉、模式识别与图像处理等领域的热点问题,其研究成果被广泛应用于无人机导航与起降、自动驾驶、虚拟和增强现实、医学影像分析、机器人技术等众多领域。当前,虽然3D场景流计算的精度与可靠性已得到大幅提升,但是当图像序列中包含运动遮挡、大位移、光照变化等困难运动与复杂场景时,场景流估计结果常常出现边缘模糊现象,导致场景流计算的鲁棒性较差。针对以上问题,本文主要研究基于语义分割的双目场景流计算技术,首先通过语义信息对图像场景中不同语义区域分别进行运动建模并优化分割边界,然后根据语义标签提取遮挡像素,并分段优化初始运动参数,有效提高了场景流计算在运动边缘和遮挡区域的准确性与鲁棒性。本文的主要研究内容和创新点包括:1.提出一种基于语义分割的场景流初始分割模型。通过语义分割将图像划分为不同区域,根据语义信息分别求解不同区域的语义分割光流,将语义分割光流作为初始场景流的输入信息不仅能够体现不同语义分割区域的运动形式,而且可以获取较好的物体分割边界。2.构造一个基于语义分割约束的优化能量函数。优化能量函数主要针对初始化场景流求解的运动参数进行优化,通过在优化能量函数中添加语义分割项,能够起到运动约束作用,使得同一个语义标签内部的运动趋于一致,可以较好地保护运动边缘信息。3.提出一种基于语义标签的遮挡检测与优化方法。本文遮挡推理分为两步,第一步通过比较像素在不同视图的语义标签来判断该像素是否发生遮挡,若语义标签不同说明发生遮挡,施加语义遮挡惩罚,若语义标签相同则执行第二步;第二步在语义标签内部,根据像素的分配关系判断是否发生遮挡,若像素在不同视图的分配关系发生变化说明发生遮挡,施加内部遮挡惩罚,若分配关系保持不变则未发生遮挡。本文通过对图像像素进行遮挡推理过程,能够较好处理由于三维空间物体位置变化而产生的遮挡问题。4.分别采用KITTI、MPI Sintel数据库提供的图像序列对本文方法和具有代表性的场景流方法进行对比分析,实验表明本文方法在应对运动遮挡、大位移、光照变化等困难运动与复杂场景时,能够有效地保护图像运动边缘,具有较好的场景流估计精度和鲁棒性。