基于关键点特征融合的六自由度位姿估计方法

来源 :天津大学学报 | 被引量 : 0次 | 上传用户:godheihei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对单张RGB-D图像进行六自由度目标位姿估计难以充分利用颜色信息与深度信息的问题,提出了一种基于多种网络(金字塔池化网络和PointNet++网络结合特征融合网络)构成的深度学习网络框架.方法用于估计在高度杂乱场景下一组已知对象的六自由度位姿.首先对RGB图像进行语义识别,将每一个已知类别的对象掩膜应用到深度图中,按照掩膜的边界框完成对彩色图与深度图进行语义分割;其次,在获取到的点云数据中采用FPS算法获取关键点,映射到彩色图像与深度图像中进行关键点特征提取,将RGB-D图像中的颜色信息与深度信息视为异构数据,考虑关键点需要充分融合局部信息与全局信息,分别采用了金子塔池化网络(pyramid scene parsing network,PSPNet)和PointNet++网络提取颜色信息与深度信息;采用一种新型的关键点特征融合方法,深度融合提取到颜色信息与几何信息的局部及全局特征,并嵌入到选定的特征点中;使用多层感知机(multilayer perceptron,MLP)输出每一个像素点的六自由度位姿和置信度,利用每一个像素点的置信度,让网络自主选择最优的估计结果;最后,利用一种端到端的迭代位姿求精网络,进一步提高六自由度位姿估计的准确度.网络在公开的数据集LineMOD和YCB-Video上进行测试,实验结果表明和现有同类型的六自由度位姿估计方法相比,本文所提出的模型预测的六自由度准确度优于现有的同类型方法,在采用相同的评价标准下,平均准确度分别达到了97.2%和95.1%,分别提升了2.9%和3.9%.网络同时满足实时性要求,完成每一帧图像的六自由度位姿预测仅需0.06 s.
其他文献
光是人类最早的科学研究对象之一,光子是光的最小能量单元,具备量子的基本特征.随着科学技术发展,人类已经能够实现对单个光子的极限探测.光的常规探测已经普遍应用于地面光纤通信中,而光的极限探测则在空间量子通信及深空超远距离光通信中具备重要的应用价值.文章介绍了光极限探测技术在空间量子科学实验、空间光子通信中的典型应用及涉及的核心技术.
锂硫电池因其超高的理论能量密度以及硫资源丰富、成本低廉、无毒的优点,被认为是极具发展潜力与应用前景的新一代储能设备.然而,硫正极导电性差、体积膨胀以及穿梭效应严重等问题严重制约了其商业化应用.石墨烯具有高比表面积、高导电性和高柔韧性,并且易于进行表面化学修饰及组装,是一种理想的硫载体材料.本文主要综述了近年来三维石墨烯、表面化学修饰的石墨烯、石墨烯基复合材料以及石墨烯基柔性材料在锂硫电池正极中的研究现状,并展望了石墨烯作为硫载体在锂硫电池正极中的发展趋势.