论文部分内容阅读
视频风格化处理是图像非真实感渲染技术的分支,它将艺术化效果嫁接到普通视频中,使得原有的视频带有丰富的艺术情感信息。人们观察视频或图像时往往将注意力集中于其中的显著部分,对视频背景的内容则相对关注较少。视频风格化可以加强突出视频中重点区域的艺术表示,使人们更有效地观察到视频中有重要意义的部分。但是现有的方法大都只能将全部视频处理成单一的风格,如水彩、油画等效果,无法根据视频内容自适应地采用对应的风格化处理技术,从而有效地通过视频风格化处理让人们更好地获取或欣赏视频重要区域的信息和内容。 本文提出基于前景对象分割与跟踪的视频多风格化处理。用户通过显著性分割方法自动获取推荐的显著性前景对象,并通过局部分类器的方法在视频中对前景对象进行跟踪与分割。由于现有技术的局限性,该过程中我们需要加入少量的交互操作对分割结果进行修正。然后,用户选择不同的艺术风格,包括滤波处理,纹理传输,笔刷模拟,对分割完成的视频前景和视频背景分别进行风格化处理,重新合成一个新的具有艺术特色的视频。由于视频前景和背景的显著度不同,我们一般在背景上应用滤波处理,而在前景上使用纹理和成与笔刷模拟,从而得到前景对象突出的更佳的艺术效果。 本文的主要工作如下: (1)前景对象的分割与跟踪: 本文针对前景与背景有明显视觉区别的视频进行分割,先使用显著性检测配合Graph Cut方法提取前景对象进行分割,为了保持帧间连续性以及提高分割效率,在分割结果的边缘设置局部分类器,根据光流信息进行视频帧之间边缘处分类器窗口的传递,综合颜色信息与空间信息确定前景对象在下一帧的边界。由于显著性检测与对象跟踪存在局限性,全自动的检测与跟踪会导致误差迭代增加,本文加入少量简捷的交互操作对分割结果进行修正。 (2)基于前景分割的视频多风格化: 视频背景的主要作用是对前景进行烘托,相应的风格化效果应该简单,虚化,本文针对背景采用效率较高地类似平滑滤波、腐蚀、膨胀等常见的滤波操作。视频前景是视频的主题内容,传递主要信息,本文采用计算复杂但艺术效果明显的纹理传输或笔刷模拟方法生成多种艺术风格的效果。将风格化处理过的前景与背景进行融合,得到最后的视频风格化结果。 (3)视频多风格化处理系统的设计与开发: 基于上述研究工作,本文设计与开发了视频多风格处理系统。系统包含前景对象的分割与跟踪,风格化处理模块,而风格化处理模块又分为滤波处理、纹理传输和笔刷模拟三个部分,系统界面在各个模块提供相应的用户交互和参数设置,以调整视频分割跟踪结果,控制风格化的效果。最后,本文针对多个不同的视频进行多风格化处理,得到前景背景风格不同的合成结果,并对实验结果进行说明。