基于深度学习的堆叠场景下机器人抓取检测算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:xuq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器人抓取检测旨在基于图像等观测信息生成适合机械手抓取物体的位姿,对于工业过程中的物体分拣和生活场景中的人机互助等应用具有重要作用。当前机器人抓取检测面临抓取位姿表示模型适用性差、物体特征利用率低、数据集标签稀疏且训练和测试分布不同等问题。针对上述问题,本文从提高抓取位姿表示模型适用性、优化特征提取和融合方式、改进抓取标签生成过程三个角度展开研究,提出基于有向抓取建模与区域感知的像素级平面抓取检测方法和基于on-policy合成数据集的像素级平面抓取检测方法,并通过实验验证了所提出方法的有效性和先进性。本文主要研究内容和创新点如下:(1)有向箭头抓取表示模型(Oriented Arrow Representation model,OAR-model)和自适应抓取属性模型(Adaptive Grasping Attributemodel,AGA-model)。针对当前抓取矩形框等表示模型仅适用于二指机械手且难以学习的问题,提出OAR-model对三指和二指机械手的抓取位姿进行建模,采用固定的夹爪尺寸和可学习的抓取宽度提高模型的可学习性和适用性。AGA-model对物体的抓取属性进行组合建模,解决网络训练中的抓取角度冲突问题,将抓取检测问题转化为抓取区域分割、抓取角度分类和抓取宽度回归问题,提高学习效率。同时,采用AGA-model进行人工标注像素级抓取标签极大提高了标注效率。(2)自适应特征融合与抓取感知网络(Adaptive Feature Fusion and Grasp Aware Network,AFFGA-Net)。针对物体位姿多变和图像特征利用率低的问题,本文以DeepLabv3+网络为基础设计了 AFFGA-Net。首先设计混合空洞空间金字塔模块提高特征利用率和有效权重数量,然后通过自适应解码器对不同尺度和层级的特征按特定顺序融合,为各头部预测网络提供最相关的特征,最后通过混合上采样和Sigmoid函数准确恢复抓取参数预测图,有效提升了基于RGB图像的抓取检测准确率。AFFGA-Net在公开的康奈尔数据集取得了 99.01%的抓取检测精度。(3)基于平行深度图像的on-policy像素级抓取数据集生成方法。针对现有抓取数据集标签稀疏且训练和测试分布不同的问题,本文提出一种新的数据集生成方法。该方法基于由平行投影生成的平行深度图像逐像素计算鲁棒的抓取位姿,使训练和测试抓取检测网络的数据分布均为深度图像到抓取位姿的映射,提高网络泛化能力。基于上述方法,本文构建了包含超过四万张图像和五千万个抓取标签的PLGP-Dataset数据集,并训练和测试了 24个像素级抓取检测网络以验证抓取检测性能。(4)在线验证系统及实际场景中的机器人抓取测试系统。针对现有抓取评价方法无法准确计算抓取成功率的问题,提出在线验证系统,该系统在仿真系统中构建了 320个多物体堆叠场景,并通过两种抓取模式获取抓取检测算法的成功率、物体清空率和平均精度。其次,本文基于ROS系统和Kinova机器人搭建了自动抓取系统,并对40个外观和材质不同的物体进行多组抓取测试。本文在康奈尔数据集、仿真抓取验证系统、机器人自动抓取系统中分别对所提出的方法进行了验证实验,并与多个近年内的先进方法进行比较,充分证明了本文方法的先进性与有效性。
其他文献
母亲,是一种颇为特殊的女性角色。人类对母亲的尊重,充分体现在他们赋予了这个形象几乎所有的褒义词,每当唇齿之间唤出一声“母亲”,人们的脑海中不自觉会联想到那个勤劳、善良、慈爱、无私的圣洁形象。然而,在我国早期传统的农村社会里,“母亲”作为家庭的一份子,虽然有着受到子女尊崇的地位,却常常不能拥有独立的人格,更确切地说,是一种无性别化的存在。就像古代神话中的母神女娲一样,人们将母亲幻化成了男性主导的社会
学位
长期以来,冠心病一直是全球范围内心血管疾病致死的主要病因,且发病率每年仍以惊人的速度在增长。无创无损且准确地检测冠心病是对其进行早期防治、降低危害的有效手段。冠状动脉造影是公认的冠心病检测“金标准”,但由于其具有侵入性、价格昂贵等问题,不适合作为早期筛查冠心病的常规检查方法。医学研究已经证实,当冠状动脉中的血液流经狭窄的血管时,会撞击血管壁并形成湍流,湍流会导致心音中出现杂音。因此,非侵入性的心音
学位
博弈论作为分析冲突和矛盾的有效工具,在工业、经济、管理等方面得到了广泛的应用.博弈问题可以分为合作博弈与非合作博弈.在非合作博弈当中,各玩家独自行动,追求自己的利益最大化.合作博弈则强调整体理性,考虑所有玩家能够作为一个群体采取行动,协调行动以实现共同利益.Pareto最优在分析合作博弈中起到了至关重要的作用.应当指出,现有文献研究的多为确定性连续系统的Pareto最优性或者是正向随机系统的Par
学位
商事登记制度改革作为政府、市场、社会三者之间关系的重要“调节器”,改革的推进对理顺三者关系有重要作用,同时也是当前深化“放管服”改革的重要突破口。2013年是我国商事登制度改革推进的关键一年,国家全面推进改革的起始年。M区自2014年逐步实施注册资本认缴制改革、“证照分离”改革、住所申报承诺制改革、全程电子化改革等一系列措施,市场活力得到有效释放,创业积极性也得到了有效提高,商事改革措施多涉及登记
学位
人类动作识别是计算机视觉领域的热点研究课题,在人机交互、自动驾驶、异常检测等领域具有广泛的应用价值。在基于视觉的人类动作识别研究中,存在诸多用来分析人类行为的数据模态,包括RGB、深度图像、光流及骨架序列等,不同模态数据可以提供异构互补的动作信息,各有优势,因此基于多模态数据的动作识别吸引了广泛关注。本文基于多模态数据开展动作识别算法的研究,涉及手物交互动作识别、人体动作识别、多模态数据融合及人机
学位
永磁同步直线电机(PMSLM)具有结构简单、推力大、损耗低、定位精确和响应速度快等优点,被广泛应用于高档CNC数控系统、物流传输系统等场合。在这些场合下多采用长定子短动子的PMSLM结构。由于运动行程较长,存在定子电感和电阻值较大、直流侧电压高以及系统整体效率低等缺点。将PMSLM的定子进行分段处理组成所谓的定子分段式永磁同步直线电机(SS-PMSLM),可以避免上述缺点。SS-PMSLM的每段定
学位
高脂血症是临床的常见病,是心、脑等重要靶器官动脉粥样硬化的高危因素之一。中医治疗高脂血症理论基础丰富,治疗方式多样,疗效确切且安全性高。本文从单味中药、中药复方、针灸埋线、食疗、运动疗法方面总结中医治疗高脂血症的相关临床研究,为该病临床治疗和后续研究提供参考。
期刊
随着医疗水平和计算机技术的飞速发展,基于深度学习的计算机辅助外科手术系统在临床实践中起着越来越重要的作用。微创手术作为其中最具有代表性的手术,对医生和患者都带来了非常有价值的帮助,但微创手术中非直观的感知和处理会影响医生的操作,医生往往要借助其他信息来观测手术的进度和病人的情况。手术工具检测及阶段识别这两个关键技术可有效地缓解上述问题,从而提高微创手术的质量和效率。与自然场景中的检测和识别任务相比
学位
随着人口老龄化社会的发展,老年人和失能人士的护理需求越来越多。而现阶段专业的护理人员短缺,家庭和社会面临着巨大的护理压力。近年来,服务机器人逐渐应用于家庭生活,辅助老年人完成日常活动,改善老年人的生活质量。机器人能够主动地识别人类的意图,是实现自然高效的人机交互的关键。现有的意图识别方法常使用语音、手势或肢体接触等人机交互方式,但由于老年人和失能人士存在语言、行为或动作表达能力下降的问题,人机交互
学位
随机系统的状态估计问题是控制领域最基础,同时也是最重要的问题之一,其原理是根据可获取的测量数据估算动态系统内部状态。相较于可以直接得到的系统的输入输出信息,状态估计研究可以用来获取和描述系统内部的动态规律,因此状态估计对于了解和控制一个随机系统具有重要意义。不同于传统一维随机系统,二维系统中的信息沿着两个独立的方向传播,这导致更复杂的动力学。与此同时,正是由于二维系统的这种双向传播的特性,使得其对
学位