伴随着传感器技术的发展,计算机感知世界的媒介逐渐从以图片为代表的平面数据扩展到了以深度图、三维点云为代表的三维数据。三维点云,是分布在三维空间中的一组离散点的集合,描述了物体表面的形状信息。点云的获取方式包括激光雷达、三维激光扫描仪、运动结构恢复算法等。作为一种非结构化的数据表示方式,点云具有排列、平移和旋转不变性的特点。近年来,以卷积神经网络为代表的深度学习方法已逐渐成为解决计算机视觉、计算机图形学等领域任务的最先进方法之一。但卷积神经网络通常只适用于处理图片、视频等类型的结构化数据,如何将深度神经网络的最新研究进展应用于三维点云数据的智能感知处理,已成为工业界和学术界所关注的热点问题。论文以设计针对三维点云数据的智能感知算法为出发点,将深度学习技术作为主要手段,解决点云数据的分类、目标检测和补全三个问题。研究过程中,通过分析现有方法的优缺点,从数据的内在特性出发,提出了一些新的数据表示方式、深度网络框架和模型训练方法。首先,论文借鉴了图像分类模型中将全局和局部信息进行融合的思想,分别提取点云中每个点临域内的局部特征和整体点云的点特征,并使用卷积层进行融合,实现了点云的准确分类。随后,面向激光雷达点云稀疏和分布不均匀的特性,使用体素的方式组织三维空间,并借助稀疏三维卷积进行智能化处理,实现了道路场景下激光雷达点云实时目标检测。最后,着眼于点云数据的稀疏特性,以上采样点云为目标,提出了两种使用彩色图像作为辅助的深度图补全神经网络。在多个公开数据集的测试结果表明,提出的这些方法达到了良好的精度和运行效率。具体而言,论文主要贡献可从以下几个方面进行阐述:1)提出了一种双路径结构的点云分类深度神经网络。以一个具有排列不变性的函数为网络结构基准,设计点云的分类模型。该模型利用点内和点间两种表示方式,分别实现了点特征的扩充和局部特征的提取。在Model Net40等数据集的实验结果表明,该轻量模型仅使用0.8兆的参数量,便达到了和主流方法相当的分类精度。相关实验还从网络结构和特征可视化两个角度验证了设计的有效性。2)提出了一种激光雷达点云三维目标检测神经网络框架。针对点云无序、稀疏和分布不均匀的特性,采用了体素这种结构化的数据表示方式。以此为基础,通过联合应用稀疏三维卷积和传统二维卷积,构建单阶段的目标检测深度网络。该模型对显存的需求为全部使用传统卷积模型的28%左右,速度也提升了2倍以上。与此同时,检测模型所使用的三维包围框表示方式和增量式数据增强策略也分别为方向角预测精度和检测精度带来了3%和9%左右的提升。在公开数据集上的实验结果表明,本框架达到了40 FPS的处理速度和优秀的检测精度。3)利用彩色图像作为辅助信息,实现了雷达点云深度图的补全。激光雷达传感器的推扫采集特性使其输出点云的密度随距离增加而逐渐降低,给远距离目标的检测、三维重建等任务带来困难。相关工作表明,通过挖掘彩色图像中丰富的纹理和语义信息,与点云的深度信息进行融合处理,可有效估计出缺失的深度信息。为实现这一目标,论文提出了两套深度网络模型。模型一使用了一种新的多模态数据融合范式,在构建中通过使用具有稀疏不变性的卷积层,提取了不同距离上各种密度下点云的深度特征。再通过与多个具有掩码感知能力的神经网络模块结合使用,恢复出了高精度的稠密深度图。模型二在观察到了稀疏不变卷积的不足后,提出了一种具有深度感知能力的非局部卷积操作,理论上可以更有效地处理稀疏深度图。除此之外,模型二还使用了一种具有对称结构的互注意力模块,利用互注意力机制自主地学习来自不同模态的数据特征。相比于模型一,模型二在精简27%参数量的同时降低了4%左右的预测误差。实验中,论文验证了两种模型在不同点云密度模式下所具有的良好适配性。综上所述,论文研究了几种针对三维点云数据的智能感知算法,完成了分类、检测和补全三个任务,达到了良好的处理精度和推理速度。除此之外,论文提出的点云特征提取方式,稀疏数据处理方法和多模态数据融合思路也都具有一定的理论和应用价值。