光流是运动物体或场景表面像素点在图像平面的二维瞬时矢量,其携带了图像中物体或场景的运动与结构信息,研究光流计算技术的目的就是从图像序列中恢复难以直接获得的图像运动与结构信息。因此,图像序列光流计算技术研究是图像处理与计算机视觉等领域的重要任务。21世纪以来,随着计算机软、硬件的迅速发展,图像序列光流计算技术已广泛应用于视频监控、无人驾驶障碍物的检测、机器人导航、气象图像分析、医学图像分析等社会生产生活的各个领域。近年来,随着图像序列光流计算技术的快速发展,光流计算的精度和效率都取得了显著提升。但是当图像序列中包含复杂纹理结构和非刚性运动时,现有光流计算方法的准确性与鲁棒性仍有待提升。针对复杂纹理结构和非刚性运动场景下图像序列变分光流计算的准确性与鲁棒性问题,本文从图像序列中不同运动模式入手,通过分析不同运动目标的对应运动模式,研究基于语义分割的图像序列多模运动变分光流计算技术。本文的主要研究内容和贡献如下:1.首先对图像序列光流计算技术的研究意义和目的进行概述,并详细介绍了变分光流和深度学习光流计算技术的研究发展与代表性方法。然后分析了现有变分光流计算技术面临的关键问题。最后对本文的研究内容及章节安排进行简要说明。2.首先介绍了图像分割的基本知识,并分别对传统图像分割方法和图像语义分割方法进行了详细论述。然后,通过对比现有不同语义分割方法的优缺点,选择Deep Lab V3+算法作为本文方法的图像语义分割算法。最后,根据图像语义标签类别将图像分类为刚性运动、非刚性运动、平面以及填充区域等四类图像区域。3.针对复杂纹理区域和非刚性运动场景下图像序列变分光流计算的准确性与鲁棒性问题,提出一种基于语义分割的图像序列多模运动变分光流计算方法。首先,根据刚性运动像素点一致性假设,构造联合图像亮度与梯度守恒数据项和一致平滑约束项组成的刚性运动区域光流估计能量泛函。然后,针对非刚性运动像素点的非一致性,构建基于语义信息的各向异性扩散能量泛函,并引入语义标签信息作为条件约束项,提高非刚性运动区域光流估计的准确性。最后,采用非局部TV-L~1变分光流模型计算图像平面和填充区域光流,并利用图割融合方法对刚性运动、非刚性运动、平面和填充区域光流进行融合,获得最终的图像序列稠密光流结果。4.分别采用Middlebury、KITTI以及UCF101数据集对本文方法的光流估计精度和鲁棒性进行测试。首先在Middlebury训练集上对本文的算法进行参数设置和消融实验,然后分别在Middlebury、KITTI以及UCF101数据集上对本文方法以及现有的光流计算方法进行综合对比测试。实验结果表明,本文方法在复杂纹理区域和非刚性运动场景下具有更高的光流估计精度和鲁棒性,尤其具有更好的边缘保护效果。