论文部分内容阅读
在视频通信技术研究中,面临着传输网络带宽受限且波动起伏、网络传输过程中丢包或存在差错、视频数据管理等各种挑战。这意味着,必须不断提高编码压缩效率,拥有更为有效的差错控制技术,在各种网络上更灵活的码率控制技术,以及更为强大的视频分割技术。
本文在对视频分割技术以及H.264/AVC标准的深入研究分析的基础上,提出了多个嵌入于H.264/AVC的镜头变换检测算法;在获得场景变换信息以及场景参考帧后,进而提出了基于场景参考帧的预测帧刷新的视频容错编码技术,以及针对于场景变换后视频质量下降的码率控制算法。论文的具体研究内容和创新成果如下:
1.首先我们利用H.264/AVC编解码过程产生的中间结果值——帧间预测的帧SAD和,作为镜头变换检测的对象,提出基于帧间预测的帧SAD和镜头切变检测算法,可以减少运算量和算法复杂度;同时由于帧间预测帧SAD的获得经过宏块的运动估计和补偿,因此可以大大减少视频图像中对象运动影响;考虑到帧间预测的帧SAD和不能全面反映视频帧内局部变化等因素的影响,进一步提出了基于帧间预测的宏块SAD的镜头切变检测算法:为了进一步简化运算,充分利用H.264/AVC编解码过程中率失真优化RDO(Rate Distortion Optimization)进行最优模式选择的结果,又提出了基于宏块预测模式选择的镜头切变检测算法。为了应对可能在镜头中出现的噪声帧或噪声序列,我们采用镜头切变噪声帧检测窗的概念,过滤镜头中出现的噪声帧或噪声序列,防止发生镜头切变的虚警或误判;考虑到局部镜头的切换对于视频监控中重点区域的监测、以及场景中局部内容的视频检索等方面的应用具有一定的意义,所以我们将基于帧间预测宏块SAD的镜头切变检测算法进一步扩展,提出了嵌入于H.264/AVC的镜头内局部切变检测算法。并对镜头渐变的检测作了探讨。
2.根据不同应用环境,将视频通信的差错控制技术分为传输层差错控制、编码器端容错编码、解码器端差错掩盖以及编解码器联合差错控制四类。对H.264/AVC的多参考帧缓存器中长期与短期参考帧的关系和语法进行研究后,建议在H.264/AVC的编解码器中增加场景参考帧缓存器模块,并定义了场景参考帧缓存器与多参考帧缓存器之间的相互操作,以及在编解码器端场景参考帧的同步方式。于是我们提出了无反馈信道上基于场景参考帧的预测帧刷新的容错编码方法,该方法比传统的帧内刷新方法有明显优势;进而我们利用场景参考帧定期更新机制,提出了改进方法,性能比我们前面的方法又略有提升。
3.最后我们讨论了H.264/AVC标准中推荐码率控制技术的三个重要部分:HRD,R-Q模块以及分层比特分配。R-Q模块包括线形MAD预测模型以及基于率失真理论与率失真优化的二次率失真模型;比特分配的分层包括GOP层、视频帧层(和基本单元层)。由于码率受限的视频流在场景切换后,量化参数偏差较大,码率突增失控,引起其后编码帧图像视觉质量在一段较长时间内持续变坏。因此,利用前面研究的嵌入于H.264/AVC编码器中的场景切换检测方法,我们提出了基于场景切换的量化淡入式码率控制技术;能有效控制场景切换后新场景第一帧编码输出比特数,并通过其后量化淡入的方式,使得视频质量逐步平稳过渡,获得更好的主观视觉效果。