论文部分内容阅读
本文的主要研究内容包括以下四个方面的内容:1)视觉显著性图检测;2)视频稳定技术;3)内容敏感的视频缩放技术;4)并行纹理合成。本文的第二至五章分别对应于作者在四个方面的研究内容。本文第二章对应于作者在视频显著性检测方面所做的研究工作。图像处理与模式识别技术一样,依赖于高质量的视觉显著性图(Saliency Map)才能得到较好的处理结果。现有的视觉显著性检测技术通常只能检测得到粗糙的视觉显著性图;这些粗糙的视觉显著性图应用于图像处理中将严重影响图像处理的最终结果。本文提出了一种随机的上下文相关的视觉显著性区域检测算法;该算法整合多层次粗糙的视觉显著性图到结果显著性图中,并逐步自适应地精化可信度不高的显著性值,最终得到一个考虑了多尺度特征的精细的视觉显著性结果。因为随机算法具有执行效率高,占用内存少等特点;本文的高效随机视觉显著性检测算法不需要建立额外的辅助数据结构来加速算法,只需占用少量内存就能快速检测出精细的高质量视觉显著性结果。并且高效随机的视觉显著性检测算法可以直接移植到GPU上并行执行;大量的实验结果表明本文的算法可以得到更加精细的显著性结果,这些精细的显著性结果应用于基于内容的图像缩放中得到了较好的处理结果。本文第三章提出了一种二维三维混合的视频稳定算法;该算法通过计算得到高质量的摄像相机运动,在保持每一帧的全帧一致性的同时,使每一帧的局部区域进行一种相似性变换,通过这种局部区域的相似性变换,得到一个稳定的,近似于三维投影映射的结果视频帧,达到稳定抖动视频的效果;并且本文方法还考虑了前后帧之间运动信息的相关性,通过运动信息的相关性约束视频帧,保持视频帧的时空一致性,最终得到高质量的视频稳定效果。以前的三维视频稳定算法往往只关注相机的运动,考虑通过加权平均相机位置的方法得到平滑的相机运动轨迹或者仅仅只考虑了很弱的全帧空间约束。然而弱的全帧空间约束不能保证全帧的一致性,可能导致视频帧扭曲严重。本文在通过平滑相机轨迹稳定视频的同时,显式采用能够强烈约束视频帧的局部运动信息,获得了高质量的视频稳定效果。作者用该算法在各类视频上进行了大量实验,并且和前人成熟的视频稳定算法作了比较。本文第四章介绍了一种面向抖动视频的视频缩放技术。将手持摄像相机设备拍摄的视频传输到小屏幕的移动设备上有非常重大的实用意义。这将涉及两方面的问题:稳定拍摄的抖动视频和缩放视频到适合目标设备分辩率的尺寸。在本文中,我们提出了个整合视频缩放与视频稳定功能到一个流水线的框架。此框架的中心组件是利用最小二乘法优化输入视频到输出视频的映射变换,同时获得高质量的相机运动。基于内容的视频缩放问题可以根据运动信息将扭曲分散到空间和时间维上来解决,而视频稳定问题则可以通过平滑相机运动和二维投影映射来解决。我们在各种类型的视频上,与之前的优化的方法做了大量比较,结果表明,本文方法既可以得到较好的视频稳定效果,也可以得到很好的视频缩放效果。本文的第五章阐述了一种并行的大规模纹理合成算法。传统的纹理合成方法使用高维向量树来加速目标纹理块的搜索效率,存在占用内存量大、执行效率低、无法在GPU上并行执行等缺点。为了实现图像块的快速近似邻域查找,提出一种并行优化纹理合成方法。该方法分为初始化和迭代优化2个阶段,初始化阶段从样本纹理中随机抽取样本纹理块填充目标图像,迭代阶段交替采用并行的随机查找算法和并行的纹理块传播算法迭代精化目标纹理。随机查找算法根据最相似纹理块出现在前一目标纹理块周围的概率与它到前一目标纹理块的距离成反比的特点,使随机采样纹理块的概率分布与最相似目标纹理块出现的概率相匹配,达到加速纹理合成的目标。用CUDA实现了文中算法,实验结果表明,该算法的执行效率比成熟的纹理合成算法快50-100倍,可应用于交互式纹理合成和超大尺寸纹理合成。