基于深度和纹理信息融合的三维物体识别和6D姿态估计研究

来源 :中国科学院大学(中国科学院深圳先进技术研究院) | 被引量 : 3次 | 上传用户:long671
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能技术的成熟引领着机器人的智能化发展。机器人逐渐融入到人们的生活和工作之中,并取代了一部分人机械重复的工作。在与外界进行交互时,机器人需要利用多种设备对外界环境进行感知,如相机和三维传感器等。如何有效地利用这些设备采集得到的信息,对环境中的目标进行识别和估计其6D姿态,以协助机器人完成物体抓取任务,对于实际的工程需求十分重要。因此,本文以“基于深度和纹理信息融合的三维物体识别和6D姿态估计”为研究课题,对基于神经网络的物体识别和6D姿态估计任务进行了深入研究。主要工作内容包括以下几个部分:基于点云数据的三维物体识别;复杂背景下的物体识别以及分割;结合纹理和深度信息的物体的6D姿态估计。1、点云数据的非结构化性质导致卷积网络无法直接用于对其进行特征提取。因此,不少方法通过手工规则将点云数据映射为图片,然后使用卷积网络进行特征提取并分类。但人工制定的映射规则会导致映射过程中信息丢失。为了解决该缺点,本文利用反卷积操作,自主学习点云数据到图片的映射关系,通过数据驱动的方式建立的映射关系,会保留对后续分类任务有用的信息,以提高最后的分类精度。2、为了能够在真实复杂场景下识别和分割物体,并同时将纹理信息和深度信息结合到一起,本文设计了一个融合图像和深度信息的语义分割网络。该网络用两个独立的主干网络分别对纹理信息和深度信息进行特征提取,之后,将对应尺度的特征图连接到一起,并利用Pyramid Pooling Module(PPM)提取全局上下文信息。最后,一种密集连接的方式被用于聚合多尺度特征,以为像素级分类提供丰富有效的信息。3、为了得到一个轻量级的,性能优异的6D姿态估计模型,本文对DenseFusion进行模型压缩。基于MixConv卷积操作,本文构建了一个轻量级且性能优异的纹理特征提取网络,基于此,本文算法在标准数据集Linemod和YCB-Vedio上取得更加优异的结果。为了进一步压缩模型参数和计算量,本文利用Filter Pruning via Geometric Median(FPGM)算法对DenseFusion中的迭代优化网络进行模型剪枝,使得最后得到的模型在保有原来性能的基础上,模型参数和计算量得到大幅度的缩减。4、基于本文算法,我们设计了一套机械臂抓取系统。在进行了大量的抓取实验之后,我们成功验证了本文算法在实际工业应用之中的可靠性和鲁棒性。
其他文献
针对低浊度的闽江原水进行了混凝剂和助凝剂的选择试验。采用的混凝剂有硫酸铝、聚合氯化铝;采用的助凝剂包括阳离子型、阴离子型和非离子型三种。试验研究表明:将聚合氯化铝
作业是培智学校生活数学教学中的重要环节,通过适当的作业练习,可以巩固课堂所学知识,对习得的技能进行及时强化,锻炼学生的思维能力与意志力,也可检验教师的教学效果,为下一
由于去年秋冬季平均温度偏高、雨水偏多,当前盐城地区在田大麦苗普遍长势偏旺,部分田块渍害较重,基部叶片出现发黄发枯。苗用大麦管理存在适期短、见效快等特点,生产上要提前采取
报纸
目前,市场上已出现大量便携式葡萄糖检测设备,但是研究电化学葡萄糖传感器的相关文献报导仍然还有很多,这是因为电化学葡萄糖传感器的灵敏度、稳定性、抗干扰能力等性能还需
2016年1月27日上证创下2638点低位以来至今,指数涨跌几乎归零,恰好完成了一个轮回。期间,各基金公司展现了不同的牛熊穿越实力。
目的:探讨中医护理对颅脑外科围手术期患者的临床效果。方法:67例颅脑外科围手术期患者按数字表法随机分为观察组35例和对照组32例,对照组行常规护理,观察组在对照组基础上采取中
雷达信号快速分选和聚类算法研究一直都是电子对抗领域的重要研究方向,已在国内外众多学者的潜心钻研下取得重大进展。但随着雷达系统的快速发展,雷达信号分选所处的环境变得
目的探讨中药复方糖肾康预防实验性大鼠糖尿病肾病的作用.方法链脲佐菌素(STZ)单次腹腔注射制作 SD大鼠糖尿病模型.全部大鼠测血糖、尿糖及尿蛋白,并取一侧肾脏切片作 HE染色
本周无疑是比较凄惨的一周,创业板指数跌跌不休连创新低,沪指则连续杀跌重回上涨趋势线以下。何以至此?明面上是由于中国联通破位引发的.作为混改的龙头,该股从最低点到最高点
对照有关国家标准和国际标准,结合科技论文编辑工作中遇到的实例,并参照国际著名检索机构对于英文摘要的规定,对英文摘要的写作和编辑提出了几点建议.