论文部分内容阅读
当前,我国和世界主要国家正处于从模拟电视向数字电视转化的阶段,可以预见三维电视技术,将是未来数字电视发展一个新的技术制高点,也是产业界的必争之地。由于历史原因,中国电视工业的发展一直落后于先进国家。作为下一代数字电视技术,三维电视在国内外都还处于起步阶段,因此是中国电视工业与国外同步发展的一次极好机会。本文作者基于所在的科研团队提出的“自然三维电视”概念,就相关关键技术进行研究,搭建端到端的自然三维电视原型样机,具有重要的产业价值和战略意义。论文取得的创新性成果包括:(1)提出一种非对称边缘自适应滤波器(asymmetric edge adaptive filter, AEAF),用于部分解决三维电视系统中的两大难题——深度产生和空洞填补。不同于其他类似的处理方式,运用一次AEAF能同时起到深度图边缘修正和深度图预处理的效果,可以简化计算复杂度。一方面,AEAF能在简单算法得到的初始深度图的基础上获得物体边缘较为准确的深度图序列,避免了基于图像和视频分割的深度产生算法所引入的高运算量;另一方面,AEAF能起到对深度图的平滑作用,减少渲染得到的虚拟视点中的空洞数量,实现良好的主观效果。实验证明,AEAF能在这矛盾的两者之间找到一个平衡点。(2)提出一种新型的软硬件交互机制,利用CMD进行指令配置,构建一个类似于SIMD的软硬件接口。与传统的软硬件交互机制相比,新机制不仅能提高灵活性和可配置性,还利于对各个子模块进行封装,非常适合IP化设计,为后端设计的功能测试验证也提供了便利。同时,提出一种高性能、低成本的熵解码硬件结构。上述设计已在多标准多接口音视频解码SoC芯片中得以实现,并进行了流片。多标准视频解码模块支持MPEG-1、MPEG-2、MPEG-4、H.263、H.264、RealVideo 8/9/10、AVS以及JPEG。该芯片的设计工作可作为今后三维视频解码的后向兼容模块,为三维电视系统的芯片实现提供了可行性。(3)解决虚拟视点生成中DIBR技术带来的问题。一方面,针对DIBR运算量大、耗时严重的情况,提出一种GPU加速实现,有效地提高虚拟视点生成算法的效率,在高分辨率的情况下达到实时性的要求。另一方面,针对DIBR算法严重依赖相机参数、普适性不强的情况,提出了基于分层视差图的双向水平平移算法,本质上是DIBR算法受实际自由立体显示器显示能力制约,在Shift-Sensor相机模型下的近似和简化。双向水平平移算法可在输入视频码流不包含拍摄相机参数的情况下工作,并具有良好的运算性能,可在许多实际应用场合替代DIBR算法或作为补充。