论文部分内容阅读
人工智能技术的成熟引领着机器人的智能化发展。机器人逐渐融入到人们的生活和工作之中,并取代了一部分人机械重复的工作。在与外界进行交互时,机器人需要利用多种设备对外界环境进行感知,如相机和三维传感器等。如何有效地利用这些设备采集得到的信息,对环境中的目标进行识别和估计其6D姿态,以协助机器人完成物体抓取任务,对于实际的工程需求十分重要。因此,本文以“基于深度和纹理信息融合的三维物体识别和6D姿态估计”为研究课题,对基于神经网络的物体识别和6D姿态估计任务进行了深入研究。主要工作内容包括以下几个部分:基于点云数据的三维物体识别;复杂背景下的物体识别以及分割;结合纹理和深度信息的物体的6D姿态估计。1、点云数据的非结构化性质导致卷积网络无法直接用于对其进行特征提取。因此,不少方法通过手工规则将点云数据映射为图片,然后使用卷积网络进行特征提取并分类。但人工制定的映射规则会导致映射过程中信息丢失。为了解决该缺点,本文利用反卷积操作,自主学习点云数据到图片的映射关系,通过数据驱动的方式建立的映射关系,会保留对后续分类任务有用的信息,以提高最后的分类精度。2、为了能够在真实复杂场景下识别和分割物体,并同时将纹理信息和深度信息结合到一起,本文设计了一个融合图像和深度信息的语义分割网络。该网络用两个独立的主干网络分别对纹理信息和深度信息进行特征提取,之后,将对应尺度的特征图连接到一起,并利用Pyramid Pooling Module(PPM)提取全局上下文信息。最后,一种密集连接的方式被用于聚合多尺度特征,以为像素级分类提供丰富有效的信息。3、为了得到一个轻量级的,性能优异的6D姿态估计模型,本文对DenseFusion进行模型压缩。基于MixConv卷积操作,本文构建了一个轻量级且性能优异的纹理特征提取网络,基于此,本文算法在标准数据集Linemod和YCB-Vedio上取得更加优异的结果。为了进一步压缩模型参数和计算量,本文利用Filter Pruning via Geometric Median(FPGM)算法对DenseFusion中的迭代优化网络进行模型剪枝,使得最后得到的模型在保有原来性能的基础上,模型参数和计算量得到大幅度的缩减。4、基于本文算法,我们设计了一套机械臂抓取系统。在进行了大量的抓取实验之后,我们成功验证了本文算法在实际工业应用之中的可靠性和鲁棒性。