论文部分内容阅读
三维点云因其强大的三维空间表征能力,近年来被广泛应用于如自动驾驶、数字博物馆、机器人、医学等领域。三维点云是可由三维扫描设备或摄像机等获取到的能够描述物体表面特征信息的由海量点组成的集合,每个点一般包含几何位置及颜色信息,且点和点之间不存在拓扑关系,没有顺序,因此能否通过有限的网络带宽快速的将三维点云数据传输到用户终端中是解决三维点云数据能否实地使用的先决条件,如何有效的对点云数据进行压缩成为解决这一问题的途径之一,而有损压缩后的数据会存在不同程度的失真,给人较差的视觉效果,因此为了提高有损压缩后的三维点云质量,对三维点云数据的质量增强工作进行研究,具有重要的意义。
本文针对点云数据量庞大以致难以在有限的带宽内进行有效传输的难题,首先研究了基于压缩感知以及基于下采样编码-上采样重建策略的三维点云压缩技术;然后,以基于几何的点云压缩(Geometry based Point Cloud Compression,G-PCC)平台作为编码框架,提出了基于深度学习的三维点云数据质量增强方法。本文的主要工作和成果如下:
1.深入了解点云数据的获取方式,并分析三维点云在获取并实际使用的过程中所存在的问题以及相对应的处理方法。
2.分析研究了常用的点云压缩算法,提出了基于压缩感知和下采样编码-上采样重建策略的三维点云数据压缩算法。首先研究了压缩感知算法,并通过分析三维点云数据的分布特点,将三维点云数据处理成信号然后使用压缩感知算法对其进行“压缩采样”与重建;实验中为了更好的挖掘信号的稀疏表示,采用K-SVD算法学习过完备字典,在该过完备字典上,每个序列的信号都有很好的稀疏表示;实验结果表明该算法在减少可编码比特数的同时对原始数据有较好的恢复效果。然后研究了基于采样的压缩算法,通过分析现有采样算法的不足之处后提出我们自己的一套基于下采样编码-上采样重建策略的压缩算法,实验证明我们的算法在保留原有点云数据量的前提下能够有效地重构出原始点云形状,这一算法对沉浸式体验三维点云视频传输具有重要的参考意义。
3.针对G-PCC三维点云几何无损颜色有损编码之后的序列,提出了一种基于深度学习的质量增强算法。首先,将有损编码后的序列分patch,并提取每个patch中点的亮度分量信息,然后将每个patch中的数据按照自定义方式排列成二维的形式,最后送入我们设计的神经网络中进行训练。同样地,在测试阶段,对于一帧点云数据,首先将其分成若干个patch,然后提取出每个patch中的数据送入到已经训练好的网络模型中得到质量增强后的数据,最后对实验结果进行分析。大量的实验数据表明,我们的算法能够从有损压缩后的数据中较好的恢复出原始点云数据,有效地提高了重建数据的质量。
本文针对点云数据量庞大以致难以在有限的带宽内进行有效传输的难题,首先研究了基于压缩感知以及基于下采样编码-上采样重建策略的三维点云压缩技术;然后,以基于几何的点云压缩(Geometry based Point Cloud Compression,G-PCC)平台作为编码框架,提出了基于深度学习的三维点云数据质量增强方法。本文的主要工作和成果如下:
1.深入了解点云数据的获取方式,并分析三维点云在获取并实际使用的过程中所存在的问题以及相对应的处理方法。
2.分析研究了常用的点云压缩算法,提出了基于压缩感知和下采样编码-上采样重建策略的三维点云数据压缩算法。首先研究了压缩感知算法,并通过分析三维点云数据的分布特点,将三维点云数据处理成信号然后使用压缩感知算法对其进行“压缩采样”与重建;实验中为了更好的挖掘信号的稀疏表示,采用K-SVD算法学习过完备字典,在该过完备字典上,每个序列的信号都有很好的稀疏表示;实验结果表明该算法在减少可编码比特数的同时对原始数据有较好的恢复效果。然后研究了基于采样的压缩算法,通过分析现有采样算法的不足之处后提出我们自己的一套基于下采样编码-上采样重建策略的压缩算法,实验证明我们的算法在保留原有点云数据量的前提下能够有效地重构出原始点云形状,这一算法对沉浸式体验三维点云视频传输具有重要的参考意义。
3.针对G-PCC三维点云几何无损颜色有损编码之后的序列,提出了一种基于深度学习的质量增强算法。首先,将有损编码后的序列分patch,并提取每个patch中点的亮度分量信息,然后将每个patch中的数据按照自定义方式排列成二维的形式,最后送入我们设计的神经网络中进行训练。同样地,在测试阶段,对于一帧点云数据,首先将其分成若干个patch,然后提取出每个patch中的数据送入到已经训练好的网络模型中得到质量增强后的数据,最后对实验结果进行分析。大量的实验数据表明,我们的算法能够从有损压缩后的数据中较好的恢复出原始点云数据,有效地提高了重建数据的质量。