基于RGB-D图像和深度学习的抓取配置预测

来源 :山东大学 | 被引量 : 0次 | 上传用户:luck88888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对机器人在杂乱环境下抓取未知物体的鲁棒性和实效性较差的问题,本文主要对基于深度学习的抓取配置预测算法进行了深入地研究。考虑到多模态数据可以显著改善多种计算机视觉任务的效果,本文引入了 RGB-D图像以增强特征的多样性和显著性。同时,本文还设计了一个由Realsense视觉平台引导的机器人智能抓取系统,旨在实现算法落地以及改善机器人对外界环境的理解能力。首先,本文采用了一种简化的“点线法”来定义二指型夹持器在平面内的抓取配置模型,并以此作为算法预测的目标。针对GG-CNN算法泛化能力不足的问题,受到多尺度特征融合及快速语义分割思想的启发,并且结合Focal loss和smooth 11 loss,本文提出了一个独立于目标检测且端到端的抓取配置稠密预测算法,用于生成每个像素对应的抓取参数及全局的最优抓取配置。基于Jacquard抓取数据集,文章分别介绍了抓取配置真值的标注策略和数据预处理流程,并完成了算法的训练及验证。本文提出的算法在验证集达到了 86.1%的预测准确率和29 FPS的处理速度,并且在不同操作场景下对24种家居物体的测试中达到了 96.3%的平均准确率和19 FPS的处理速度,较GG-CNN有显著的泛化能力提升。其次,本文提出了一个抓取配置映射策略,实现了 RGB-D图像到机器人抓取位姿的转化。基于Realsense平台,本文深入研究了针孔相机模型、结构光深度测量与图像配准的基本原理,并求解了 RGB相机和红外相机的固有参数与外参数矩阵。针对原始Depth图像因噪声和缺失数据较多而难以应用的问题,本文设计了一个用于图像修复和增强的级联式图像处理框架;而对于抓取位姿的求解问题,则详细探讨了抓取配置参数的映射准则,并给出了具体的位姿变换。然后,基于Pyglet框架,本文开发了一个用于最优抓取配置实时预测和抓取位姿3D可视化的软件工具,便于提高算法在不同操作场景下的适应性和调试效率,并且完成了抓取位姿的生成实验。目标抓取位姿的在线解算结果及软件呈现的可视化效果不仅验证了图像处理框架和抓取配置映射准则具有较高的可靠性,还证明了抓取系统具有较高的定位精度和计算效率。最后,本文基于ROS开发平台搭建了一个机器人仿真抓取系统,并根据具体的目标抓取策略和RRT-connect算法执行路径规划实验。实验结果表明,借助Octomap技术实现对操作场景的重建可以有效帮助机器人在抓取过程中避免与障碍物发生碰撞,进而提高系统在杂乱环境下的适应能力。
其他文献
目的:通过研究单侧经椎弓根旁入路与双侧经椎弓根入路PKP治疗骨质疏松性椎体压缩骨折(OVCF)的临床效果,比较两种手术入路的疗效差异,为临床工作提供参考。方法:收集我院2016年11月至2018年5月期间行PKP治疗的90例OVCF患者的临床资料。先对所有患者的入院时间排序,再采用随机数字表法将其分为两组。单侧经椎弓根旁入路组(观察组)45例共计53个椎体,男11例13个椎体、女34例40个椎体,
成年人意定监护制度源起于当今世界人口发展结构的监护需求,伴随国际人权理念的更新而不断发展。在我国,成年人意定监护制度存在广泛的适用空间,主要基于两方面原因:一方面,
用X射线光电子能谱(XPS)研究铝板/聚丙烯层状复合材料的粘接界面相,提出了粘接界面的化学反应机制.研究发现,聚丙烯(PP)中加入马来酸酐接枝聚丙烯(PP-g-MAH)时,铝板面上Al2p
采用 B3LYP和 CCSD(T)方法对 R-C≡ P(R=-BH2, -CH3,-NH2, -OH)体系进行了理论研究 .结果表明,含 C≡ P三键的异构体 BH2-C≡ P和 CH3-C≡ P在各自的体系中分别是热力学最稳
以气雾化法制备的Cr17Mn11Mo3N无镍奥氏体不锈钢粉末和蜡基粘结剂为原料,混合制备了不同的喂料。利用RH5000型高压毛细管流变仪,研究了粘结剂配比和粉末装载量对喂料流变性能
目的探讨在肺癌联合化疗过程中,紫杉醇脂质体药代动力学参数Tc> 0. 05与肺癌化疗近期肿瘤指标之间的相关性;并探究Tc> 0. 05值与肺癌化疗后副反应的相关性。方法选取14例病理