基于三维重建及关系推理的未知堆叠物体抓取方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jf8410
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器人抓取技术作为机器人的一项重要能力,由于工作任务的升级以及场景的动态变化对其从感知到认知、推理、决策的智能化进阶提出了要求,这使得实现机器人自主抓取服务的深层研究成为近年来研究的重点。对于从模拟环境逐渐过渡到真实非结构化环境中的抓取物体过程,主要是环境感知、机器人认知和抓取规划等问题阻碍了机器人抓取应用的发展。现阶段,基于视觉信息的定位来引导机器人完成目标抓取已经得到了广泛的应用,但大多都是面向独立或单类物体进行抓取操作,而对于存在未知堆叠物体场景的抓取方法尚未得到很好的解决,这极大地限制了机器人在真实世界的应用。本文从环境感知角度出发解决未知物体的识别和定位问题,增添了场景结构上的理解对堆叠物体的空间关系进行推理,为机器人抓取提供抓取顺序上的策略,以避免不必要的跌落破坏等影响,实现在真实世界中安全稳定地完成自主抓取操作。首先,对单视角采集到的信息,利用深度神经网络图像分割技术与点云几何分割算法融合的方法来提高物体边缘分割的精准度,将分割精确度提高20%左右,从而实现对未知物体准确的语义识别和定位;然后利用机器人正运动学获取相机的变换矩阵进行多视角下的地图拼接,并对于机器人运动产生的误差利用点云配准方法对相机的位置进行校准,从而提高三维重建的质量,获得精细的未知堆叠物体场景三维语义分割地图。然后,通过几何分析提取堆叠物体间的关联点,从关联点推断出物体间的关系矩阵,在此基础上依据物体稳定性定理判别物体间支持关系,删除潜在的假性接触以明确物理交互关系,然后递推归纳出物体所在层数建立支持关系树,输出对目标对象进行抓取的顺序,并验证了算法的逻辑合理性和推理准确性,然后利用抓取位姿检测算法优化得到对抓取物体适合可行的抓取位姿,实现对堆叠物体进行合理有序的抓取操作。最后,基于ROS机器人操作系统以Turtlebot3机器人平台搭载Open Manipulator机械臂为操作对象进行实验,利用Real Sense采集信息,对本文提出的一系列算法进行仿真实验验证,通过仿真实验证明其能够自主完成对未知堆叠物体的安全稳定地抓取,实现从感知到认知、从推理到规划的智能化。
其他文献
导航技术是武器装备信息化的一项重要支撑技术。随着对信息化战争要求的日益提高,对高精度、高可靠、全自主、全天时的导航需求越来越迫切。SINS/CNS组合导航系统作为导航技
本文以层序地层学、构造地质学、沉积岩石学、地震沉积学等理论为基础,充分利用现有的地震勘探资料结合测井数据和钻井岩心资料,对北大港北翼沙河街组地层的构造及沉积地质背
孩子的时间配置是影响其人力资本积累的重要因素。研究时间利用行为的代际传递不仅为提升孩子人力资本质量的途经提供新的视角,而且为从源头上提升经济特征(收入、教育)的代
现阶段我们主要依靠地面上的人员对电力走廊系统进行巡检,有些情况也会借助于配备有光学摄像头的直升机进行。利用这种方式进行电力巡检一方面会消耗大量的人力和物力,另一方
戏曲作为中国独特的舞台艺术形式,有着数百年的历史。由于文化多元化的发展,导致传统戏曲渐渐衰落。近年,制作的戏曲动画易被人们接受,从而可以通过把戏曲人物卡通化,来吸引
当代人们的生活不断出现快生活,更便利的口号。人们的日常生活越来越便利,还不断地产生各种各样的数据。这些数据就汇聚成了能反映现实世界的数据海洋。为了充分发挥其蕴涵的
高强度聚焦超声(High Intensity Focused Ultrasound,HIFU)治疗是一种新兴的肿瘤治疗技术,以无毒副作用、无创等优点应用于临床治疗。其主要原理是将超声波聚焦于肿瘤区域,使
传感云通过集成无线传感器网络技术和云计算技术,以方便地向用户提供理想的传感器数据,从而更好地服务于人们。然而,随着传感云规模的增加,传感云中的安全问题也逐渐显现。一
亚胺是一类重要的含氮中间体,广泛应用于生物、农业、制药及精细化学品合成中。亚胺的合成方法较多,主要包括羰基化合物和胺类的缩合、胺类的自缩合和醇胺的氧化耦合反应。而
由于太赫兹的成像高分辨率的特点和反隐身、抗干扰等优势,其在雷达成像领域具有相当的潜力。本文的研究着眼于提高太赫兹雷达的成像质量,凸显目标特征的成像方法,主要工作如