论文部分内容阅读
随着互联网的快速发展,视频已经成为信息传播的主要载体之一。相对于单帧静止图像,视频不仅记录了单帧图像中的空间维度信息,还包含了帧与帧之间的时间维度信息。为了表征和刻画视频中的时间维度和空间维度信息,相关研究人员引入了动态模式的概念。动态模式指视频中表现出复杂空间和运动模式的时空过程,包括动态纹理(如瀑布、火焰)以及运动模式(如面部表情、动作)等。动态模式的生成、判别与表征是视频相关应用的基础,也是计算机视觉领域的热门研究课题。
国内外的研究人员已对多种应用场景下的动态模式进行了大量的研究,并取得了系列成果。然而,受制于视频在不同应用场景下的固有特性,动态模式的研究中仍存在大量问题亟待解决,特别是:对于涉及动态模式的生成任务,现有方法不能有效地对小样本序列建模;对于涉及动态模式的判别任务,现有方法不能应对由多种原因引发的拍摄目标外观突然性改变所导致的动态模式突变问题;对于涉及动态模式的表征任务,现有方法容易受无约束视频中复合运动干扰。
针对上述的问题,本文围绕着多场景视频中动态模式的生成、判别与表征,完成了以下工作:
首先,针对现有动态模式生成方法无法对小样本序列有效建模的问题,本文通过挖掘并利用数据固有的相似性先验知识,提出了一种基于核相似性嵌入的动态模式生成模型,将核学习和极限学习机集成为统一的生成模型,通过学习核相似性嵌入以挖掘和利用动态模式固有的相似性先验信息,有效表征动态模式序列中帧间时空传递关系,从而改善小样本条件下的动态模式生成质量。本文以动态纹理这类具有代表性动态模式为例,验证了该模型对小样本条件下动态模式生成建模的有效性。提出方法在生成速度、生成效果、持续稳定性等方面相比于现有方法有较好提升。
其次,针对现有动态模式判别方法不能应对模式突变情况的问题,本文通过挖掘并利用动态模式的帧间联合相似性信息,提出了一种基于多帧联合建模的动态模式判别方法。为了充分利用帧间联合相似性,通过正则多任务学习同时在多帧上学习判别模型,并通过约束使其相互接近,从而学习到目标在多帧上的鲁棒性信息,减少动态模式突变对判别模型的影响。本文以判别式跟踪器这一动态模式判别的典型应用为例,验证了该模型对模式突变视频中动态模式进行判别的有效性。提出判别方法可以处理动态模式的突变情况,且能够兼顾跟踪效果和跟踪速度。
最后,针对现有动态模式表征方法不能应对无约束视频中复合运动的问题,本文通过挖掘并利用背景的运动模式一致性信息,提出了一种基于局部运动向量场对比度的动态模式表征模型,通过度量临近区域间的运动状态差异来消除无约束视频中复合运动干扰,并表征无约束视频中的局部运动模式。本文以动态视频显著性检测这一动态模式表征的典型应用为例,说明了该模型对模式突变视频中动态模式进行表征的有效性。提出表征方法可抑制摄像机复合运动的干扰,并具有较快的处理速度。
国内外的研究人员已对多种应用场景下的动态模式进行了大量的研究,并取得了系列成果。然而,受制于视频在不同应用场景下的固有特性,动态模式的研究中仍存在大量问题亟待解决,特别是:对于涉及动态模式的生成任务,现有方法不能有效地对小样本序列建模;对于涉及动态模式的判别任务,现有方法不能应对由多种原因引发的拍摄目标外观突然性改变所导致的动态模式突变问题;对于涉及动态模式的表征任务,现有方法容易受无约束视频中复合运动干扰。
针对上述的问题,本文围绕着多场景视频中动态模式的生成、判别与表征,完成了以下工作:
首先,针对现有动态模式生成方法无法对小样本序列有效建模的问题,本文通过挖掘并利用数据固有的相似性先验知识,提出了一种基于核相似性嵌入的动态模式生成模型,将核学习和极限学习机集成为统一的生成模型,通过学习核相似性嵌入以挖掘和利用动态模式固有的相似性先验信息,有效表征动态模式序列中帧间时空传递关系,从而改善小样本条件下的动态模式生成质量。本文以动态纹理这类具有代表性动态模式为例,验证了该模型对小样本条件下动态模式生成建模的有效性。提出方法在生成速度、生成效果、持续稳定性等方面相比于现有方法有较好提升。
其次,针对现有动态模式判别方法不能应对模式突变情况的问题,本文通过挖掘并利用动态模式的帧间联合相似性信息,提出了一种基于多帧联合建模的动态模式判别方法。为了充分利用帧间联合相似性,通过正则多任务学习同时在多帧上学习判别模型,并通过约束使其相互接近,从而学习到目标在多帧上的鲁棒性信息,减少动态模式突变对判别模型的影响。本文以判别式跟踪器这一动态模式判别的典型应用为例,验证了该模型对模式突变视频中动态模式进行判别的有效性。提出判别方法可以处理动态模式的突变情况,且能够兼顾跟踪效果和跟踪速度。
最后,针对现有动态模式表征方法不能应对无约束视频中复合运动的问题,本文通过挖掘并利用背景的运动模式一致性信息,提出了一种基于局部运动向量场对比度的动态模式表征模型,通过度量临近区域间的运动状态差异来消除无约束视频中复合运动干扰,并表征无约束视频中的局部运动模式。本文以动态视频显著性检测这一动态模式表征的典型应用为例,说明了该模型对模式突变视频中动态模式进行表征的有效性。提出表征方法可抑制摄像机复合运动的干扰,并具有较快的处理速度。