内容保持的图像和视频显示适配

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:whfork
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能硬件和交互技术的快速发展为图像和视频的观看带来极大的便利。例如人们可以在各种各样不同尺寸屏幕的显示终端上观看图像/视频,也可以通过交互技术任意设定图像/视频的目标显示尺寸。然而,这也带来了问题——图像/视频的尺寸和目标显示尺寸不同。这就必须先用显示适配技术将图像/视频调整到目标显示尺寸,然后才能显示图像/视频。然而,传统显示适配方法由于没有考虑图像和视频的内容,造成适配图像和适配视频发生显著的内容失真,观看体验差。并且,近年来虚拟现实设备和立体视频/立体图像的流行为显示适配带来了新的挑战。传统显示适配方法由于未考虑深度信息,常常导致深度过强或者过弱,造成不舒适的立体观看体验。  为了将图像和视频适配到目标显示尺寸并且保持图像和视频的观看体验,内容保持的显示适配技术受到工业界和学术界中大量研究者的关注。内容保持的显示适配是一项根据图像/视频的内容非均匀变换图像/视频的技术。现有内容保持的显示适配方法相比于传统显示适配的方法能够更好地保持原始图像/视频的显示效果。但是,内容保持的显示适配仍然是存在较多的挑战。由于图像/视频中包含了丰富的形状信息、深度信息、时域信息,现有方法仍不能有效地控制非均匀变换,进而引起形状失真、深度失真、时域不一致失真,不利于观看体验。  为了避免形状、时域和深度发生显著失真,本文针对不同类型的图像、视频,探究应进行何种非均匀变换,以及非均匀变换应满足何种约束才能使适配图像/视频和原始图像/视频观看效果一致。具体而言,本文分别针对平面图像、平面视频、立体图像、立体视频,研究和提出相应的内容保持的显示适配方法。本文的主要创新点包括以下几个方面:  1.基于直线网格变换的平面图像显示适配方法  对于平面图像,内容保持的显示适配的核心是构建形状保持约束来保持关注物体形状。形状保持约束的效果依赖于重要度图。但是大部分重要度图包含噪声,形状保持约束容易受到噪声的严重影响,引起显著的形状失真。本文主要探究如何根据不同质量的重要度图来构建形状保持约束。首先,从机器学习视角出发,本文将机器学习的模型评价和选择策略用于指导形状保持约束的构建。其次,本文提出一种基于直线网格变换的平面图像显示适配方法,减小了重要度图的噪声对形状保持约束的负面影响,能够有效保持关注物体的形状。实验结果表明该方法相比于现有方法取得了更好的显示适配效果。此外,该方法大幅降低了计算开销,能够快速产生适配平面图像,满足实时需求。  2.基于时空网格流变换的平面视频显示适配方法  对于平面视频,内容保持的显示适配需要同时保持适配视频的时域一致和关注物体的形状。然而,时域一致约束容易造成关注物体的形状失真。本文首先通过探究现有时域一致约束对形状保持产生负面影响的原因,发现时域一致约束所限制一致变换的像素/区域的内容应该保持一致。然后,提出一种时空网格流构建算法,从而根据平面视频内容将平面视频分割成在时域上内容一致的时空网格流。最后,通过利用视频时域冗余性提出一种基于关键帧的子时空网格流的适配方案,进一步降低了时域上一致变换网格的内容不一致程度,减少了时域约束对形状保持的负面影响。实验表明,相比于现有方法,该方法取得了更好的适配效果,并且时间开销大幅降低。  3.基于深度保持变换的立体图像显示适配方法  对于立体图像,内容保持的显示适配需要同时保持关注物体形状和立体场景的深度。由于忽略了网格变换对深度变化的影响,现有的网格变换往往造成立体场景的深度失真。本文探究了何种网格变换能够保持深度,提出一种面向网格变换的深度保持约束,通过直接控制网格变换有效保持了深度。其次,本文提出一套基于深度保持变换的立体图像显示适配框架,通过提出形状保持约束的和视差保持约束的融合策略,该框架在深度保持和形状保持之间达到较好的平衡。实验结果表明,该方法能够保持适配立体图像中关注物体的形状和立体场景深度。  4.基于立体场景时域一致变换的立体视频显示适配方法  对于立体视频,内容保持的显示适配的核心是同时保持关注物体的形状、时域一致、立体场景的深度。由于现有形状保持约束、时域一致约束和深度保持约束没有考虑形状信息、时域信息和深度信息之间相互关联,直接将这些约束相结合将导致约束之间相互放大约束强度,造成适配需求之间的显著冲突。本文提出一种立体时域约束,通过同时考虑时域信息和深度信息,限制出现在立体场景并且内容一致的网格在时域变换一致,从而能够保持立体场景的时域一致并降低适配需求之间冲突。利用该立体时域约束,本文提出一种基于立体场景时域一致的显示适配框架,能够同时保持关注物体的形状、时域一致和立体场景的深度。实验结果表明,该方法在大量立体电影片段上取得较好的适配效果。  综上所述,本文对内容保持的显示适配问题进行了广泛而深入的研究,对不同类型的图像/视频提出了有效的内容保持的显示适配方法。大量实验结果表明,本文提出的内容保持的显示适配方法可以有效保持图像/视频的显示效果,为深入理解网格变换对形状保持、时域一致、深度保持、立体场景时域一致提供了一定的理论和实践证明。
其他文献
IMS提供了一套多媒体服务的标准体系架构,作为下一代通信网络的核心技术,已经被设备提供商和运营商广泛接受。与此同时,无线网也有了长足发展,移动终端更是得到全面普及,然而基于
随着互联网、移动互联网的和企业信息化的迅速发展,出现了越来越多以文本形式存储的信息,如何从这些数据中获得有价值的信息成为了计算机科学与技术领域的一个挑战。文本聚类
动态软件体系结构可以随着应用的不断变化而自动适应,使得基于动态软件体系结构的应用具有高度的可扩展性。OSGi是近年来颇受关注的一个动态体系结构的框架实现,是基于Java虚拟
随着信息技术发展和企业信息化进程的不断推进,企业里分散孤立的应用系统越来越多。这些系统可能涉及不同的技术,使用不同的开发语言以及运行在不同的平台。这种异构情况给企业
Diffie-Hellman(DH)密钥协商协议是一种安全协议,它可以让双方在完全没有对方任何预先信息的条件下通过不安全信道创建公共密钥,该密钥可在后续通讯中作为对称密钥加密通讯内容
WSN (Web Service Notification)是由OASIS组织制定的一套用于发布/订阅系统的标准,定义了通过使用基于主题的发布/订阅模式进行通知的Web服务规范。订阅者向消息生产者发送订
随着Web服务与面向服务的体系架构(Service-Oriented Architecture,SOA)的发展,越来越多的服务提供商致力于开发、提供Web服务,并在服务注册时提供服务定义关键字对服务进行
企业规模的不断变大,市场竞争的不断增强,信息技术的不断发展推动多媒体客户联络中心飞速发展。客户联络中心已经成为企业提高竞争力,为客户提供高效率,高品质服务必不可少武
近年来,随着互联网、云计算等技术的发展,人类社会所产生的数据正以前所未有的速度在不断的增长和累积,我们已经步入大数据时代。研究大数据的意义在于从数据中发掘重要信息,为人
在机器人技术发展的过程中,机器人示教编程技术是衡量一个工业机器人应用的灵活性和智能化程度的重要指标。会话式编程作为一种编程方式,就是在图形界面上通过提示信息的方式来