论文部分内容阅读
智能硬件和交互技术的快速发展为图像和视频的观看带来极大的便利。例如人们可以在各种各样不同尺寸屏幕的显示终端上观看图像/视频,也可以通过交互技术任意设定图像/视频的目标显示尺寸。然而,这也带来了问题——图像/视频的尺寸和目标显示尺寸不同。这就必须先用显示适配技术将图像/视频调整到目标显示尺寸,然后才能显示图像/视频。然而,传统显示适配方法由于没有考虑图像和视频的内容,造成适配图像和适配视频发生显著的内容失真,观看体验差。并且,近年来虚拟现实设备和立体视频/立体图像的流行为显示适配带来了新的挑战。传统显示适配方法由于未考虑深度信息,常常导致深度过强或者过弱,造成不舒适的立体观看体验。 为了将图像和视频适配到目标显示尺寸并且保持图像和视频的观看体验,内容保持的显示适配技术受到工业界和学术界中大量研究者的关注。内容保持的显示适配是一项根据图像/视频的内容非均匀变换图像/视频的技术。现有内容保持的显示适配方法相比于传统显示适配的方法能够更好地保持原始图像/视频的显示效果。但是,内容保持的显示适配仍然是存在较多的挑战。由于图像/视频中包含了丰富的形状信息、深度信息、时域信息,现有方法仍不能有效地控制非均匀变换,进而引起形状失真、深度失真、时域不一致失真,不利于观看体验。 为了避免形状、时域和深度发生显著失真,本文针对不同类型的图像、视频,探究应进行何种非均匀变换,以及非均匀变换应满足何种约束才能使适配图像/视频和原始图像/视频观看效果一致。具体而言,本文分别针对平面图像、平面视频、立体图像、立体视频,研究和提出相应的内容保持的显示适配方法。本文的主要创新点包括以下几个方面: 1.基于直线网格变换的平面图像显示适配方法 对于平面图像,内容保持的显示适配的核心是构建形状保持约束来保持关注物体形状。形状保持约束的效果依赖于重要度图。但是大部分重要度图包含噪声,形状保持约束容易受到噪声的严重影响,引起显著的形状失真。本文主要探究如何根据不同质量的重要度图来构建形状保持约束。首先,从机器学习视角出发,本文将机器学习的模型评价和选择策略用于指导形状保持约束的构建。其次,本文提出一种基于直线网格变换的平面图像显示适配方法,减小了重要度图的噪声对形状保持约束的负面影响,能够有效保持关注物体的形状。实验结果表明该方法相比于现有方法取得了更好的显示适配效果。此外,该方法大幅降低了计算开销,能够快速产生适配平面图像,满足实时需求。 2.基于时空网格流变换的平面视频显示适配方法 对于平面视频,内容保持的显示适配需要同时保持适配视频的时域一致和关注物体的形状。然而,时域一致约束容易造成关注物体的形状失真。本文首先通过探究现有时域一致约束对形状保持产生负面影响的原因,发现时域一致约束所限制一致变换的像素/区域的内容应该保持一致。然后,提出一种时空网格流构建算法,从而根据平面视频内容将平面视频分割成在时域上内容一致的时空网格流。最后,通过利用视频时域冗余性提出一种基于关键帧的子时空网格流的适配方案,进一步降低了时域上一致变换网格的内容不一致程度,减少了时域约束对形状保持的负面影响。实验表明,相比于现有方法,该方法取得了更好的适配效果,并且时间开销大幅降低。 3.基于深度保持变换的立体图像显示适配方法 对于立体图像,内容保持的显示适配需要同时保持关注物体形状和立体场景的深度。由于忽略了网格变换对深度变化的影响,现有的网格变换往往造成立体场景的深度失真。本文探究了何种网格变换能够保持深度,提出一种面向网格变换的深度保持约束,通过直接控制网格变换有效保持了深度。其次,本文提出一套基于深度保持变换的立体图像显示适配框架,通过提出形状保持约束的和视差保持约束的融合策略,该框架在深度保持和形状保持之间达到较好的平衡。实验结果表明,该方法能够保持适配立体图像中关注物体的形状和立体场景深度。 4.基于立体场景时域一致变换的立体视频显示适配方法 对于立体视频,内容保持的显示适配的核心是同时保持关注物体的形状、时域一致、立体场景的深度。由于现有形状保持约束、时域一致约束和深度保持约束没有考虑形状信息、时域信息和深度信息之间相互关联,直接将这些约束相结合将导致约束之间相互放大约束强度,造成适配需求之间的显著冲突。本文提出一种立体时域约束,通过同时考虑时域信息和深度信息,限制出现在立体场景并且内容一致的网格在时域变换一致,从而能够保持立体场景的时域一致并降低适配需求之间冲突。利用该立体时域约束,本文提出一种基于立体场景时域一致的显示适配框架,能够同时保持关注物体的形状、时域一致和立体场景的深度。实验结果表明,该方法在大量立体电影片段上取得较好的适配效果。 综上所述,本文对内容保持的显示适配问题进行了广泛而深入的研究,对不同类型的图像/视频提出了有效的内容保持的显示适配方法。大量实验结果表明,本文提出的内容保持的显示适配方法可以有效保持图像/视频的显示效果,为深入理解网格变换对形状保持、时域一致、深度保持、立体场景时域一致提供了一定的理论和实践证明。