论文部分内容阅读
动态纹理是指在时间上具有平稳统计特性的图像序列,时间平稳性表现为统计上的规律性和重复性,是静态纹理统计特性从图像空间至时域延伸的推广。动态纹理在自然界中广泛存在,比如烟雾、海浪、车流等。动态纹理呈现出视觉动态过程,是自然场景的基本组成部分,普遍存在于视频数据中。动态纹理蕴含的时序变化过程能够传递更丰富的视觉信息,在人类视觉感知中起着重要作用,为解决很多计算机视觉问题提供了至关重要的解决方案。动态纹理建模是构建动态纹理表达的数学模型和描述算法,以用于动态纹理识别、合成等相关视觉任务。既不同于静态图像缺少运动信息,动态纹理是随时间连续变化的图像序列;也不同于图像运动分析的光流场,动态纹理的动态过程大多不满足光流亮度保持和局部平滑的约束。因此建模需要顾及动态纹理数据特点,准确描述空间外观和动态变化。并且动态纹理建模的有效性取决于与之关联的视觉任务,需要面向不同视觉任务灵活选取建模方式,以获得解决对应问题的能力。本文对动态纹理建模及其应用的一些关键问题进行研究,包括动态纹理特征提取,识别任务中的特征表达,合成任务中的模型构建,以及动态纹理样本可合成性分析建模。针对以上问题,本文以动态纹理建模为核心,根据建模应用需求的差异,设计不同的模型表达方式,采用任务驱动型的建模策略,主要研究内容如下:(1)针对现有动态纹理特征提取方法缺乏空间几何结构描述的问题,提出基于形状共生模式的动态纹理特征编码方法。研究利用水平集方法对动态纹理空间表观进行拓扑表达,构造纹理图像的形状级联结构,提取形状树中形状基元的不变性特征作为局部的结构特征;利用形状树中节点的隶属关系,构造纹理形状基元的邻接图;在时间维上,将图像序列投影到形状共生模式字典进行编码获取隐含时域信息,结合空间结构信息,达到同时捕获动态纹理空间几何结构和时间平稳特性的目的。(2)针对动态纹理识别中难以建立时空整体联合模型的问题,提出聚合时空特征建模的动态纹理表达。顾及动态纹理数据时间自相似特点,压缩时间冗余性以简化对动态纹理的描述,分别从空间维度和时间维度建模动态纹理的特征表达,采用集成学习多特征融合的方式,通过聚合多种空间和时间纹理特征,提出了一种基于空间外观和动态过程互补特征表达的方法,提高了动态纹理识别的准确率。(3)针对动态纹理合成中现有统计模型约束能力不足,合成结果产生不同程度的细节平滑问题。基于时空卷积神经网络滤波响应的相关统计量构建统计约束模型,同时建模动态纹理的空间-时间统计特征,发展了基于深度学习的动态纹理合成方法。其次,探究了深度模型对动态纹理合成的影响,通过实验测试发现由随机滤波器构造的浅层网络未经训练也能合成平稳动态纹理,说明其二阶统计特性足以表达生成平稳动态纹理的高斯过程。(4)在基于样本的动态纹理合成研究中,我们发现合成结果同时受制于合成算法的有效性和样本的可合成能力,而现有研究致力于提升合成算法,忽略了动态纹理样本的可合成性。针对样本是否可合成问题,我们结合动态纹理识别和合成两方面任务,采用数据驱动的方式,通过建模动态纹理样本特征表达和可合成度之间的关系,学习样本的可合成能力,定量预测动态纹理的可合成度,并为样本推荐合适的合成算法。为动态纹理合成实际应用中的样本和算法选择提供有力支撑。