论文部分内容阅读
在计算机图形学和三维机器视觉中,离散点云数据由于其数据获取方便、数据结构简单而得到了广泛应用。然而,利用深度相机获取点云数据时,通常由于受到场景中物体的遮挡、深度相机的传感器距离限制等原因会产生缺失的离散点云数据,亟需进行点云数据修复补全。传统的点云修复方法多用于对小型孔洞的修复,无法对点云模型的形状结构缺失进行修复。为了对形状结构缺失的点云进行补全,本文利用深度学习框架,对于两类点云的应用对象构建了直接输入点云数据的深度神经补全网络。其一是基于生成对抗网络的单个点云模型的保结构补全,侧重于修复单个点云物体的形状结构缺失,能够对模型细节精确预测。其二是基于“类别-实例”分割的室内场景修复,侧重于修复位于室内场景中缺失的家具形状,产生较为完整的室内场景点云。本文的主要工作以及取得的研究成果如下:1)针对三维点云形状修复补全中难以保持形状精细结构信息的难点,借助于生成对抗网络框架,本文提出了一种自动修复补全三维点云形状的神经网络结构。该网络由生成器和判别器构成。神经网络的生成器采用自编码器结构,以缺失的三维点云形状作为输入,首先通过输入变换和特征变换对齐输入点云数据的采样点位置与特征信息;然后借助权共享多层感知器对各采样点提取局部形状特征并利用最大池化层与多层感知器编码提取出采样点的特征码字;其次将采样点特征码字加上网格坐标数据,解码器使用2个连续的三层感知器折叠操作将网格数据转变成点云形状的缺失补全数据;最后将缺失补全数据与点云输入数据合并,得到完整的三维点云形状。神经网络的判别器则接收真实的完整点云形状数据和生成器生成的完整点云形状数据,并利用与生成器相同的编码器结构判别出点云形状数据的真假并反馈以不断优化生成器,最终使生成器生成足以“以假乱真”的点云形状数据样本。不同于传统的基于体素化输入的网络模型,本文采用点云数据直接输入基于自编码器的对抗生成网络。基于点云数据输入能够精确地表达物体的形状信息,相较于体素化输入方式能够占用更小的显存空间、提高训练速度。本文网络采用Wasserstein距离优化真实点云与生成点云的相似性误差,能够预测点云模型的精细结构。实验表明,针对形状缺失的稠密点云和稀疏点云数据,本文方法在修复补全形状缺失部分的同时能有效保持输入点云形状的精细结构信息。2)针对室内场景修复补全中难以处理大规模点云数据和室内家具形状难以补全的问题,本文提出了一种基于“类别-实例”分割的室内点云场景修复补全框架。该框架包括点云场景分割模块和点云补全模块,前者由基于PointNet的类别分割网络和基于欧式距离聚类的实例分割模块构成,后者由基于自编码器结构的点云补全网络构成。本文框架以缺失的室内点云场景数据为输入,首先采用“类别-实例”分割策略,利用PointNet对室内点云场景进行物体级别的语义分割,并利用基于欧式距离的聚类方法进行实例分割得到各个室内家具点云,再借助点云补全网络将分割出的缺失家具点云逐一进行形状补全,并融合进原始点云场景。最后,框架输出补全完整的点云场景,从而实现场景修复。其中,为了实现缺失家具点云形状的补全,本文提出了一种新的基于自编码器结构的点云补全网络,首先通过输入变换和特征变换对齐输入缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据。实验结果表明,本文提出的基于自编码器结构的点云补全网络能够较好地补全室内场景中缺失的家具结构形状;基于该点云补全网络的场景修复补全框架能够有效修复大型室内场景。针对三维点云模型和点云场景的修复补全,基于神经网络和深度学习框架,本文提出了点云形状的保结构补全方法和室内点云场景的鲁棒修复方法。本文在阐述国内外相关研究现状的基础上,提出了具体的神经网络结构和相应的修复补全框架,并给出了算法实验效果以及与其他现有方法的比较说明。