论文部分内容阅读
屏幕内容是指电子设备的屏幕而生成的图像或者视频序列,它在屏幕共享,屏幕传输,远程桌面和云计算等应用中有着重要的作用。然而,屏幕内容具有复杂的纹理结构和很高的图像对比度,这就对现有的图像或视频压缩标准在屏幕内容的压缩的性能方面提出了挑战。为了提高视频编码标准在屏幕内容的压缩性能以及考虑到屏幕内容的日益重要性,新一代视频编码标准High Efficiency VideoCoding(HEVC)将屏幕内容的压缩列为它需求的一种,并引入新的编码工具改进其压缩性能。本文在HEVC编码标准的编码框架的基础上,分析了屏幕内容的特点,并设计了一系列算法去改进屏幕内容的压缩性能。这些算法被分为以下3个方面: 第一,我们通过利用屏幕内容的局部相关性提出基于基颜色的屏幕内容编码方案。屏幕内容具有稀疏直方图的特点,我们在考虑了这一特征的条件下采用基颜色的表示形式。它将屏幕内容分为结构信息和颜色信息,并设计不同的算法去压缩不同类型的信息。针对颜色信息,提出基于查表的合并编码方法,从而去除了不同图像块间颜色信息的冗余。针对结构信息,提出多阶段的索引编码方法,通过逐步预测和分解进一步去除了结构信息的冗余。同时,利用屏幕内容的局部纹理特性以及非平移的运动特性,提出基于方向性的预测索引生成方法和基于时间域检测的索引预测生成方法,以确保预测索引的准确性。我们提出的方法作为额外的模式被嵌入到HEVC框架中,并通过率失真优化原则选择是否使用所提出的模式。最后,我们在理论上验证了所提出方法的有效性,相对于经典方法,我们的方法可以取得理论上的增益。同时,实验结果表明,基于的屏幕内容编码方案显著提高了HEVC在屏幕内容的编码性能,在主观质量的比较上,也显著地降低了重建的屏幕内容中人工效应和模糊的边缘效应的程度,从主客观质量方面均提升了HEVC编码屏幕内容时的编码性能。 第二,为了在HEVC中支持帧级别的运动估计,我们提出基于哈希特征的屏幕内容编码方案。HEVC可以利用帧内和帧间运动估计和运动补偿方法去寻找和补偿时域和空域的屏幕内容运动。然而,为了不明显地增加编码端的复杂度,HEVC中的帧内和帧间的运动估计仅在当前块邻近一个很小的区域内进行运动搜索,造成屏幕序列中存在的大范围的运动无法被很好地补偿。因此,我们提出基于哈希特征的块匹配方案用于支持帧级别的运动估计。它使用基于哈希特征的块匹配方法,重建区域中所有的候选块被基于两层哈希特征的分类器分为若干类,在为当前块寻找预测块时,我们选取和当前块两层哈希特征一致的候选块作为最优的预测块。同时,为了进一步提高该方法的率失真性能,我们还提出了基于率失真代价的预测块选择方法,以替代第二个哈希特征,从而使该方法可以取得更低的率失真代价。我们在理论上分析了所提出方案的有效性,相对于现有的HEVC编码器中的TZ运动估计算法,基于哈希特征的屏幕内容编码方案可以取得更低的复杂度。同时,实验结果表明,我们的方法可以取得显著的增益,验证了该方法的有效性。特别是屏幕内容发生大范围的运动时我们的方法显著提高了HEVC的编码性能。 第三,为了利用屏幕内容中大量的重复性内容的相关性,我们提出基于字典的编码方案。现有的基于一维字典的编码方案是可以通过像素串的匹配去除屏幕内容中重复性样本间的冗余,它与HEVC结合后可以显著提高HEVC在屏幕内容的编码效率。针对屏幕内容的纹理特性,我们通过分析得出结论基于一维字典的编码方案中使用多种扫描方向是十分必要的。因此,我们提出自适应扫描方案,每个图像块自适应地选择扫描方向,从而提高了重复性内容间匹配的概率。但是,基于一维字典的编码方案在嵌入到基于块的编码框架时,会造成跨越块分割边界的重复性内容无法被很好地匹配,为此我们提出基于二维字典的编码方案。它利用哈希特征和率失真代价为当前块寻找最优的匹配块,从而支持跨块分割边界地匹配重复性内容。并且,我们为基于二维字典的编码方案分别测试不同的哈希函数的性能,并为其选出具有最优性能的哈希函数。为了进一步降低哈希计算的复杂度,我们利用位置的相关性简化哈希函数的计算。实验结果表明,我们提出的基于字典的屏幕内容编码方案相对于HEVC标准和现有的基于一维字典的编码方案可以取得显著的编码增益。