论文部分内容阅读
近年来高清及超高清视频不断出现,使得以H.264/AVC和AVS为代表的第二代视频编码标准已无法满足实际应用的需要。为了提高编码效率,国际JCT-VC工作组于2013年完成新一代视频编码标准HEVC(High Efficiency Video Coding)的制定。HEVC较H.264/AVC在相同视频质量下节省了一半左右的码率。国内AVS工作组于2014年完成AVS2的制定,它与HEVC具有类似的编码性能。然而随着人们对视频质量和视频分辨率需求的不断提高,对视频编码标准的压缩效率又提出更高的要求。帧间预测因其能显著改善编码性能而在大多数视频编码标准中发挥了重要的作用。但是目前视频编码标准中普遍采用的帧间预测不能有效地处理复杂运动或者有些情况下不够准确,因此,在现有视频编码标准基础上通过增强帧间预测性能获取更高的编码效率具有重要的意义。3D视频以其能够给大家带来真实的3D场景体验和交互式地选择观看视角,引起了大家的广泛关注。作为HEVC的一个扩展,3D-HEVC主要致力于3D视频的有效压缩。除了HEVC中现有的编码工具,3D-HEVC引入了一些新的编码工具来提高多视点视频的编码性能,新的编码工具的引入导致编码端复杂度显著增加。因此,对3D-HEVC预测技术进行优化、降低3D-HEVC编码复杂度具有重要的意义。本文主要针对增强视频编码标准的帧间预测性能、优化3D-HEVC预测技术、降低3D-HEVC编码复杂度展开深入的研究。具体研究内容分为以下四个部分:第一,本文提出一个用于变形块运动信息获取的merge模式。运动估计因其能显著改善编码性能而在大多数视频编码标准中发挥了重要的作用。目前视频编码标准中普遍采用基于平移运动模型的块匹配运动估计(Block Matching Motion Estimation,BMME),它假定一个块内的所有像素都经历相同的运动。然而,BMME不能准确地描述复杂运动,比如旋转、缩放、变形。为了解决这个问题,本文提出了用于变形块运动信息获取的merge模式,它同时考虑了双线性插值模型、六参数仿射模型和四参数仿射模型。最小绝对变换差值和(Sum of Absolute Transformed Differences,SATD)准则用于为一个块选取最优模型。对于提出的merge模式,当前块的运动信息从其邻近块的运动信息获取得到。它不需要进行运动估计和传递运动参数,这有效地避免了以往解决变形运动的方案中估计和有效编码复杂运动模型包含的增多的运动参数的问题。本文提出的merge模式在HM14.0上集成。实验结果表明,与HM14.0相比,该方法以少量编解码复杂度代价对变形序列平均带来11%~18%的BD bitrate增益,对HEVC通测序列平均带来1%~3%的BD bitrate增益。第二,本文提出一个自适应维纳滤波,用于提高帧间预测准确性。帧间预测因其能显著改善编码性能而在大多数视频编码标准中发挥了重要的作用。帧间预测越准,编码效率越高。然而目前的帧间预测可能不够准确,尤其对于包含亮度变化、场景切换或者噪声的场景。为了改善帧间预测性能,本文提出自适应维纳滤波作为运动估计和运动补偿过程的附加模块。对于本文提出的自适应维纳滤波方案,每个编码单元(Coding Unit,CU)的滤波系数通过参考当前CU和其时域对应块的空域邻近重构像素在编、解码端估计得到。对于一个编码单元,只需要编码和传递一个标志位来标识是否使用提出的自适应维纳滤波。本文使用的自适应维纳滤波相比之前用于提高帧间预测准确性的线性回归模型和偏移模型,具有更强的描述能力。实验结果表明,本文提出的自适应维纳滤波方案可以进一步提升HEVC的编码性能,同时对解码复杂度的影响可以忽略。第三,本文提出一些改进方案用于优化3D-HEVC的预测技术。视差矢量(Disparity Vector,DV)的获取对视间运动预测、视间残差预测、视差补偿预测或者其它任何利用视间相关性的工具至关重要。DV用于定位当前块在另一视点中的对应块。在HTM5.0(3D-HEVC的测试版本5)中,DV从一些空域邻近块和时域邻近块获取。本文为了降低视差矢量获取过程的复杂度并获取更好的编码效率,对该过程做了一些改进。为了减少DV获取过程的内存访问带宽和复杂度提出去掉第三个时域块、对所有视点统一时域块的搜索顺序、对BR时域块加以限制。由于时域邻近块的DV比空域邻近块的DV预测准确性高,为了获取更好的编码效率,提出先从时域邻近块搜索DV。视点合成预测(View Synthesis Prediction,VSP)将邻近视点的图片映射到当前视点用于预测,用来改善多视点视频的编码性能。由于后向视点合成预测(Backward View Synthesis Prediction,BVSP)可以实现更有效的基于块的处理而被3D-HEVC所使用。为了简化3D-HEVC的视点合成预测,本文做了两个改动:统一深度图调整的邻近块视差矢量(Depth Oriented Neighboring Block Disparity Vector,Do NBDV)和BVSP过程访问的深度数据、减少邻近块视差矢量(Neighboring Block Disparity Vector,NBDV)和BVSP模式标志的存储需求。这两个改动在减少内存访问带宽和存储需求的同时没有引起总的编码性能改变。第四,本文提出一个基于3D-HEVC的纹理编码的快速编码决策。3D-HEVC编码效率的改善是以计算复杂度的增加为代价的。除了HEVC中现有的编码工具,3D-HEVC引入了一些新的编码工具来提高多视点视频的编码性能,新的编码工具的引入导致编码端复杂度显著增加。如何降低编码端复杂度成为应用中的一个关键问题。为此,本文提出一个编码纹理依赖视的快速编码决策方法,采用了两个利用视间相关性的策略加速编码决策。第一个策略是merge模式提前决策方法,第二个策略是CU划分提前终止方法。Merge模式提前决策包括两个条件:(1)五个视间邻近块的最优预测模式都是merge模式;(2)当前CU的skip模式比merge 2Nx2N模式的率失真性能好。如果上述两个条件同时满足,属于当前CU的所有预测单元(Prediction Unit,PU)只需考查merge模式而不是考查所有的预测模式。CU划分提前终止策略包括两个条件:(1)当前CU的CU划分深度等于或者大于五个视间邻近块的最大划分深度;(2)在考查所有的预测模式后,当前CU的最优预测模式是skip模式。当上述两个条件同时满足时,当前CU不需要进一步向下划分。本文将视间相关性和3D-HEVC的编码工具结合,设计了适合3D-HEVC的纹理编码的快速编码策略。实验结果表明,本文提出的快速编码决策方法可以带来47%的编码时间节省,同时带来0.1%的码率降低。