论文部分内容阅读
随着三维扫描技术的快速发展以及人们对视觉媒体需求的不断提高,点云数据在工程领域和众多生活领域得到越来越广泛的应用。然而,点云数据无规则且数据量巨大的特点为其传输和存储带来了巨大的挑战。自2017年起,点云编码压缩技术开始快速发展,形成了几种比较常见的编码平台,例如,基于点云库的编码器（Point Cloud Library Point Cloud Compression,PCL-PCC）,基于视频的点云编码器（Video-based Point Cloud Compression,V-PCC）及基于几何的点云编码器（Geometry-based Point Cloud Compression,G-PCC）。现有的点云编码器需根据经验手动设置一些编码参数,而这些关键参数的设定决定了编码码率的大小,进而影响编码失真。由于点云的视觉特征与图像/视频有很大差异,其编码失真也很难用均方误差等常见的度量准则来准确评估。因此,现有的基于均方误差的编码平台重建的点云质量往往和人眼视觉感受有很大偏差。针对上述问题,本文重点研究点云的编码器优化以及点云的质量评估方法。具体的说,论文的主要研究内容包括以下几部分:1.针对PCL-PCC点云编码平台,提出了面向颜色失真的编码参数优化方法。通过统计和分析,推导了点云的总码率和颜色失真关于八叉树深度和量化参数的模型,并对模型的准确性进行详细验证。继而,将核心编码参数（八叉树深度、量化参数）的优化问题转换为基于解析模型的凸优化问题,并采用内点法直接求出最优解。该方法仅需四次预编码来计算模型参数,即可求得最优的编码器参数。实验结果表明,与全搜索方法取得相同率失真性能的条件下,该方法的时间复杂度仅为全搜索方法的1.57%。2.针对最新的V-PCC点云编码平台中几何和颜色联合码率分配问题,本文提出了基于模型的几何和颜色码率分配算法。通过对V-PCC编码过程的理论分析以及几何、颜色量化参数对码率和失真的影响方式的统计分析,推导了V-PCC编码器中几何和颜色的码率和失真模型,并进一步确定了几何编码失真对颜色编码失真的影响。利用这些模型,将几何和颜色的联合码率分配问题转化为有约束的凸优化问题,并采用内点法求出最优的几何、颜色量化参数,进而实现几何和颜色的联合码率分配。与全搜索方法相比,在量化参数（Quantization Parameter,QP）为22到42范围内,该方法在取得相似率失真性能的条件下,使得时间复杂度降低了99.34%。3.为进一步提高点云的码率控制准确度,降低真实编码码率和目标编码码率的误差,在研究内容2的基础上,进一步提出了基于区域的精细码率控制算法,实现了码率从粗到细的逐级分配。首先,依据研究内容2的结果对几何和颜色进行粗略码率分配。然后,根据V-PCC编码平台的预处理结果将三维点云划分为七个区域,并分别对七个区域的几何和颜色的特性进行统计分析,得到各个区域的关于几何和颜色量化步长的码率和失真模型。进一步,将码率控制问题转化为约束条件下的凸优化问题。由于求解此问题涉及的自变量较多,因而在求解过程中采取分步求解区域最优几何量化步长和颜色量化步长的策略。实验结果表明,该方法的实际编码码率和目标码率的差异仅为3.7%。此外,与研究内容2相比,在相同编码码率的条件下,该方法得到的编码重建点云的主观质量更高。4.前三个工作使用的质量评估标准都是基于均方差准则,然而该准则与人眼感知质量并不完全匹配。针对这一问题,本文创建了点云的主观质量数据集,确定了点云主观质量关于几何、颜色量化步长的线性模型,提出了首个点云降参考质量评估方法,并应用于点云的几何、颜色联合码率分配问题。首先从已有的原始点云中挑选十六个内容多变的原始点云,再使用V-PCC编码器对每一个原始点云设置二十五种不同编码参数进行编码得到四百个失真点云并进行主观测试,建立了点云主观质量数据集。随后研究了主观分数与几何和颜色量化步长的关系,通过拟合,确定了点云关于几何、颜色量化步长的质量评估模型。进一步,设计了点云的局部和全局特征描述算子,进而有效估计质量模型的参数。实验结果表明,提出的降参考感知质量模型在测试点云集上的皮尔卡森相关系数（Pearson Linear Correlation Coefficient,PLCC）和斯皮尔曼等级相关系数（Spearman Rank-order Correlation Coefficient,SRCC）分别高达0.91和0.90。将提出的降参考感知质量模型应用在点云的码率分配算法中,在给定目标码率的情况下,得到的主观视觉质量远远高于现有的客观质量评估算法。5.针对无参考点云质量评估问题,本文提出了基于多视图投影的无参考点云质量评估深度神经网络模型（Point Cloud Quality Assessment-Network,PQA-Net）。该网络由基于多视图的联合特征提取融合模块（Multi-View-based Joint Feature Extraction and Fusion,MVFEF）,失真类型识别模块（Distortion Type Identification,DTI）和质量向量预测模块（Quality Vector Prediction,QVP）组成,并且DTI和QVP模块共享MVFEF模块提取的特征。为了克服小数据库上训练样本不足的缺陷,首先使用失真类型标签对DTI和MVFEF进行预训练来初始化网络参数。然后,基于初始化的MVFEF和DTI模块,使用点云的MOS标签数据对整个网络进行联合训练,最终得到无参考点云质量评估模型。此模型不但在滑铁卢主观数据集上取得了优越的预测性能（PLCC高达0.7）而且也可以识别点云的失真类型,对于特定的颜色噪声失真类型,识别的准确度高达100%,并且该模型还可以被应用到点云处理、编码等多个领域。