论文部分内容阅读
随着多媒体技术的不断发展,各种视频终端设备如手机、MP4、电脑、高清电视等层出不穷。不同终端设备的屏幕尺寸和宽高比例也不尽相同,这就带来新的挑战——即如何改变原始视频的分辨率使视频满足不同终端设备的显示需求。传统的裁剪、边缘填充,均匀缩放三种方法忽视了视频内容的差异,导致视频内容的显著部分出现失真变形,基于内容的视频重定向方法便由此而生。基于内容的视频重定向算法综合考虑视频内容的不同,其主要目的是在视频重定向的过程中尽可能地保护图像显著部分不发生变形,视频帧之间尽量不产生抖动,同时算法应具有高效性。现有的基于内容的视频重定向算法得到的结果仍不够理想:按顺序求解视频帧的重定向方法大多数仅考虑相邻两帧或相邻几帧之间的内容相关性,这种方法计算复杂度低,但是结果视频难以同时保持空间连贯性与时域连贯性;而同时求解多帧视频的重定向方法能够得到较好的重定向结果,但该方法运算复杂度极高,难以实时处理视频流。此外,当视频背景包含某些对人眼观看视频有影响的特征时,基于网格变形的重定向算法就会造成空间内容的不连续现象。为了解决以上问题,本文对基于帧对齐的网格变形视频重定向算法进行了深入的探讨与研究,研究结果如下:提出了一种基于帧对齐的网格变形视频重定向算法。该算法在获得图像的显著性区域和运动显著性区域的前提下,以视频首帧为基准,通过估计帧间摄像机的运动,将各视频对齐在相机坐标下,从而获得包含多帧运动信息的全局运动历史图;然后利用运动历史图来顺序指导单帧图像形变,将单帧图像的放缩问题转换为网格变形问题,通过构造一系列约束条件在网格上建立保持整体形状的最优化模型,最终求解变形网格以获得重定向后的视频。实验结果表明:无论是处理静止的视频还是具有复杂运动的视频,本文方法都能得到较优的重定向结果,在保持视频背景良好的时间连续性的同时又有效地保持运动对象的形状,且能实现对视频流的实时处理。由于基于网格变形的视频重定向算法将变形部分尽量压缩到背景之中,如果背景里包含某些对人眼观看视频有影响的特征,就会造成空间内容的不连续现象。为了解决这个问题,本文提出了一种基于网格变形和智能裁剪的多算子视频重定向算法,该算法可以有效减少由网格挤压带来的空间内容失真,从而输出空域内容连续性保持更好的重定向视频。具体来说,首先将视频帧对齐在相机运动模型下,从而获得运动历史图,根据运动历史图为每个视频确定不同的裁剪窗口,然后根据各视频帧的重要度图,借鉴动态规划算法找出一条最优的裁剪路径,得到裁剪窗口和裁剪路径后,对视频帧和重要度图进行裁剪,换算出从裁剪序列到重定向视频大小之间对应的缩放因子,在网格变形基础上进行重定向操作。实验结果表明:本文提出的视频重定向算法能有效减少由网格形变带来的物体失真,获得的结果在保持重定向视频良好的时间连贯性的前提下,也能更好的保护原始视频重要区域不发生变形。