多视点信息融合与合成技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:GAODAOQUAN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体视频(Three Dimension Video,3DV)作为一种新型的视觉信息媒体,已经深入到了人们生活、工作和娱乐的各个方面。与传统的二维视频相比,立体视频可以向用户提供场景中的深度信息,产生更加真实生动的视觉效果;但同时也具有数据量庞大、数据相关性复杂等特点,这对立体视频系统的推广与普及带来的巨大挑战。近年来,立体视频体系中相关技术的研究已经成为国际视频研究领域的热点问题。对三维场景信息更加有效的采集、表示、编码、合成以及显示,是研究立体视频必须解决的重要问题。目前,立体视频的标准化进程已经启动,并且将多视点视频(Multi-view Video)以及多视点纹理加深度视频(Multi-viewplus depth)作为立体视频的主要表示形式。在编码端对多视点视频信号的压缩编码效率,以及在终端合成的虚拟视点质量,将成为影响整个立体视频体系的关键环节。本文针对这两个问题分别进行探讨研究,并针对现有问题提出了有效的解决方案,获得了较好的性能提升。在多视点视频编码中,虽然基于H.264/AVC标准的MVC编码体系考虑到视点间的信息冗余,提高了多视点视频的编码效率,同时也增加了编码端的数据交互和计算复杂度,使其无法应用于编码端能耗或计算性能受到严格限制的情形。分布式多视点视频编码(Distributed Multi-view Video Coding,DMVC)是一种基于Wyner-Ziv理论的分布式编码框架,可以在解码端挖掘视点间的相关性,从而减轻了编码的负担,适用于上述应用场景。在DMVC中解码端会生成两种边信息:时间边信息与视点间边信息;对这两种边信息进行适当融合,可以提升DMVC编码效率,改进重建帧的质量。本文提出了基于条件随机场模型的边信息融合算法,利用二维网格型的条件随机场对融合边信息建模,充分挖掘出多视点视频中的时间上的连续性与空间结构的一致性。在条件随机场建模过程中,将当前帧的时间边信息、视点间边信息以及相应的预测误差信息作为观测值,利用状态势函数描述边信息局部区域的可靠性,利用转移势函数描述边信息空间结构的规则性。条件随机场模型的参数由已重构帧集合通过训练不断更新,结点的标签状态根据置信传播算法推断得出,并用来融合时间边信息与视点间边信息。经过实验证实,本文提出的基于条件随机场模型的融合算法性能要优于现有融合方案。在立体视频体系中,虚拟视点的合成质量对最终的用户体验有着重要影响。基于深度图像的绘制方法(depth-image based rendering,DIBR)是目前虚拟视点合成的主流算法,由多视点纹理以及深度信息可以合成出一定视角范围内的任意虚拟视点。虽然该算法具有绘制速度快、所需输入视点数目少等优点,但目前深度信息的生成需要人机交互,这就使得立体视频的制作成本大大增加。基于图像域变形的算法(Image Domain Warping)可以在没有深度信息的前提下合成出较高质量的虚拟视点,近年来也得到了研究人员的广泛关注。本文针对现有合成技术中存在的时间不连续现象以及轮廓失真、鬼影等问题,提出了基于时空一致性的虚拟视点合成算法。一方面,利用视频序列中的运动信息对变形函数的时间连续性进行约束,消除因局部或全局运动引起的形状失真。另一方面,采用基于显著性曲线检测的算法,增加视觉敏感区域的视差约束,减少变形失真造成的鬼影效果。实验证明,本文提出的基于时空一致性合成方案,有够有效地去除合成视点中的运动变形、鬼影以及抖动等失真问题,得到高质量的虚拟视点序列。
其他文献
期刊
期刊
期刊
以Ethernet为基础的EPON(Ethernet over Passive Optical Network,以太无源光网络)是未来实现宽带、多业务综合接入的重要技术手段,它采用点到多点结构、无源光网络传输,在以
自从Web2.0的兴起,在线社交网络吸引了许多国内外研究者的兴趣。这些社交网络有许多独特的结构性质如度的幂律分布、极短的网络半径和较明显的社区聚集特性。这些结构方面独特
GSM-R是基于公共无线通信系统GSM平台上,专门为铁路应用而开发的数字无线通信系统。GSM-R能满足高速列车运行速度的需求,具有较高的可靠性和安全性,并且能够继承GSM的成熟技术等
图像压缩是图像处理领域经典而又热门的课题。图像压缩的目的就是在不损害图像有效信息的前提下,去除图像中的冗余数据。目前常用的图像压缩算法中,一个显著的特点就是对图像
期刊
期刊
随着以太网技术的飞速发展,新一代的互联网络IPv6的产生及其广阔的发展前景,通过以太网对各种设备进行远程监控的应用将越来越广泛,因此如何实现嵌入式设备的IPv6的接入已成