基于RGB-D图像和卷积神经网络的机器人抓取规划研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:zxc00663340
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统机器人抓取任务一般在结构化环境下,通过示教好的动作重复执行,而随着机器人与人工智能的结合,机器人开始逐渐向服务业中渗透。本文针对机器人在家庭服务、物流分拣等非结构化工作环境中对物体的抓取这一需求,对卷积神经网络和计算机视觉在机器人抓取上的应用进行了深入研究,提出了两种用于机器人抓取位姿检测的方法,并基于ROS搭建了机器人自主抓取检测系统,将本文算法快速的运用到Kinect相机和机器人上,验证了本文方法的可行性。本文首先搭建了基于RGB-D图像的机器人自主抓取系统框架,从机器人的感知、规划、执行三个方面分析了机器人自主抓取所涉及的算法和数学模型进行分析建模,并对卷积神经网络中的基础理论进行介绍,为后续研究奠定基础。基于搭建好的机器人自主抓取系统框架,本文提出了两步式抓取检测方法。先利用YOLOV3目标检测算法识别出待抓取物体的位置,然后利用RGB-D图像合成物体点云,并对点云进行处理,最后利用PCA算法求解点云的主方向,和点云局部法向量。通过物体点云主方向和局部法向量就可以解析成机器人的抓取位置。为了提高抓取检测的精度和速度,解决前一方法抓取方式单一的问题。本文又提出了端到端的抓取检测方法ST-GDN,通过引入注意力机制和更高效的Darknet卷积神经网络作为网络架构,构建了目标性旋转锚框的多部位抓取检测策略,实现了对RGB图像中物体多个部位抓取位姿的快速检测。对Cornell数据集进行数据增强,并且自制数据集对其进行扩充,最终训练得到了表现优异模型,该模型在Cornell数据集上实现了96.58%的准确率,速度达到32FPS。最后为了全方位检验算法性能,本文搭建了一个系统两个平台,即基于ROS搭建了机器人自主抓取检测系统,基于Gazebo搭建了机器人仿真抓取平台和实物抓取平台。并将系统分别运行在Gazebo仿真平台和实物平台上进行实验分析。实验表明本文所搭建的自主抓取系统能很好的应用在实体相机和机械臂上,有很高的实用价值。
其他文献
随着智能电网的发展,需求侧资源的作用不断上升,需求响应在平衡系统负荷与优化资源配置方面具有重要作用,其中分时电价措施因利用电价机制引导用户调整用户需求,实现削峰填谷的效果显著,使得研究与实践广泛。但随着用户的生活质量提高,用户对分时电价的响应较低。同时,不同类别的电力用户对分时电价的响应差异较大,所以有必要依据用户用电特性进行精细化分类管理,并针对不同类别用户建立一个分时电价的调整机制,充分发挥分
学位
中国建筑行业已经开始从高速发展向高质量发展的转变,对建筑施工企业内部管理提出更大的挑战和更高的要求,实现高质量、高效率和低成本的物资采购管理工作成为建筑施工企业应对残酷市场竞争,获得项目盈利必须具备的关键要素。针对物资采购管理工作建立绩效评价体系能够进一步帮助建筑施工企业对物资采购工作环节的效益及效率进行综合评价,以便进一步发现物资采购管理工作中出现的问题。及时补短板、增效率,提高建筑施工企业核心
学位
“互联网+明厨亮灶”食品安全智能监管模式,能够实现学校食堂在线直播及食品安全问题预警提示,有效促进各级部门齐抓共管、社会共治。学校利用好“互联网+明厨亮灶”模式,丰富其应用内容及功能,通过线上线下相结合的监管方式对校园食品安全工作进行管理和指导,将给实际工作带来质的改变。
期刊
印刷电子技术能够低成本、大规模地在各种载体上制造电子器件和集成电路,是未来柔性和可穿戴电子的关键技术,在科研和应用领域引起了极大的关注。印刷电子的关键是印刷柔性材料(包括导电层、半导体层和绝缘层),进而构筑各种功能器件和逻辑电路。然而,有机半导体层制备过程中常见的“咖啡环效应”阻碍了高度有序的晶态有机半导体薄膜的印刷制备;同时,现有的柔性电极存在粘附性低、生物相容性差等问题。这些挑战严重制约了印刷
学位
电力系统的安全、高效运行是实现国家经济战略的重要保障。短期电力负荷预测在电力系统中作为安排发电计划、确定备用容量、经济调度电网等操作的基础,实现精确的短期负荷预测对电网的经济可靠运行有着重要作用。随着智能电网的建设,量测数据越来越丰富,为精准负荷预测提供了基础;但电力市场化的发展,预测环境中需求侧管理等因素对用户用电行为的影响愈发明显,为提升短期负荷预测的精度带来困难。针对上述情况,论文开展了电力
学位
涉外法治是我国法治体系中的“弱项”,其属性的明确无疑是推进涉外法治的基础和关键。涉外法治具有混合属性,在不同属性之下,涉外法治的完善路径和完善内容亦不相同。国内法治属性立基于国内层面的法治运行,国际法治属性侧重于国际层面的法治活动,交叉属性强调国内法治与国际法治的互动,对外关系法治属性则集中反映了涉外法治的主要内容。不同属性汇聚于涉外法治一身,看似矛盾,但辩证地看,这恰恰反映了涉外法治的混合属性。
期刊
人脸表情识别是指通过提取人脸表情数字图像的特征并进行分析,从而获知人的心理情绪的过程,此研究在人机交互领域有着广阔的应用前景。近几年,随着深度学习技术的蓬勃发展,对于人脸表情识别的研究也从传统的手动提取特征的识别方法逐步转变为自动特征提取的深度学习方法。与传统方法不同,深度学习模型通过对数据的学习可以自动提取到更加抽象的深层特征,因此可得到更优的识别性能。但是现有的深度表情识别模型一般有很大的参数
学位
阿尔茨海默病(Alzheimer’s Disease,AD)是一种进行性神经退行性疾病,起病隐匿,且难以逆转。因此,从神经影像学中发现更精确的生物标记物,对于AD的准确检测至关重要。其中由于磁共振检查具有无创、无辐射等特点,在AD研究中得到了广泛的应用。本文基于静息态功能磁共振成像(functional Magnetic Resonance Imaging,fMRI)的数据构建大脑的时间依赖性和功
学位
酒是人类的主要饮料之一,酒文化在中国传统文化中有着独特的地位。在众多酒类中,白酒是我国人民的重要日常消费品。我国白酒品种丰富,不同的原材料、产地及工艺造就了不同香型的白酒。随着白酒需求的增大,不时出现质量安全问题,因此亟需快速、准确的白酒鉴别方法。现有的白酒检测通常通过人工嗅辨或分析仪器完成,前者主观差异性较大,后者费用高且时间长。近些年,电子鼻技术因速度快、成本低等优势开始在白酒检测领域发挥作用
学位
本文针对一类迭代变化因子的非线性离散时间系统,提出了一种基于高阶内模的新型自适应迭代学习控制算法。假设多个时间迭代变化参数由不同的高阶内模所生成,本文所提出的算法借鉴了模型预测控制的思想,通过构建预测输入,将获得的当次迭代的预测跟踪误差作为先验知识,应用到系统输入的控制律的设计中,从而在预测跟踪误差的基础上进一步缩小系统的跟踪误差。此外,由于预测跟踪误差作为先验知识参与了系统输入控制律的设计,该方
学位