三维物体分类算法作为三维理解中的核心算法,在实际生产生活也得到广泛应用,例如人机交互技术和自动驾驶技术。本文以三维物体分类任务为目标,重点研究了基于全景图的三维物体分类算法,分别探究了全景图的局部信息、全景图与点云数据的多模态融合以及全景图的旋转不变性,并提出了改进的深度学习算法。具体工作如下:1.探究全景图的局部信息。本文在原有点云空间分布全景图的算法基础上,引入了结合了三维物体大小信息的点云空间梯度分布图的生成算法,然后将单通道的空间分布全景图、竖直方向梯度图和水平方向梯度图按照次序拼接成一张三通道的全景图。对于每个三维物体,本文基于空间直角坐标系中X轴、Y轴、Z轴,投影得到三张三通道的全景图。同时,本文以VGG16二维图像分类网络作为骨干网络,提出了多分支的深度学习网络,充分学习每张全景图的高阶特征。最后,将三维物体对应的多通道全景图送入多分支深度学习网络中,得到三维物体的分类结果。2.探究全景图与点云的多模态融合。本文在原有基于全景图的三维物体分类算法基础上,引入了基于点云的三维物体分类算法PointNet,进行三维物体全景图模态和点云模态的算法决策融合。对于每个三维物体,本文首先按照第一个工作所述的多通道全景图生成算法,获取到基于X轴、Y轴、Z轴投影得到的三通道全景图;然后对点云数据进行上采样,确保送入到深度学习网络中的点云数目是统一的;最后本文将三维物体对应的多通道全景图和规范化的点云送入到多模态深度学习网络中,得到三维物体的分类结果。3.探究全景图的旋转不变性。本文在原有多通道全景图生成算法的基础上,引入了基于高斯曲率值的三维物体校准模块。该模块主要作用是对输入的三维物体进行校准,确保无论三维物体如何旋转平移,校准后都是同一个朝向角度。这样就能够使得该三维物体最终投影得到的全景图具有旋转不变性。