机器人视触觉融合抓取技术研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:QQQ16416
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能,特别是机器视觉技术的快速发展,机器人领域展现出巨大的进步和潜力。为了提升机器人的智能化程度,机器视觉技术被大量应用于机器人抓取系统,主流方法是根据图像特征获取合适的抓取位置和抓姿。机器人的抓取过程主要由规划阶段和执行阶段组成,对于抓取规划阶段,不同于工业示教机器人在结构化环境下对物体的抓取,服务机器人在非结构化环境下的自动抓取工作面临着许多挑战,被抓取物体的形状、软硬属性和机械手的抓取力度等都会影响抓取的结果,即使机器人在抓取规划阶段获取合适的抓取参数,也可能在执行阶段抓取失败。本文主要研究非结构环境下的服务机器人视触觉融合抓取技术,增强其抓取感知能力,减少抓取检测时间,提高抓取成功率。主要研究内容和成果如下:(1)针对目前服务机器人抓取检测时间较长,难以达到实时性问题。对YOLOv4进行改进,提出了一种端到端的抓取检测方法。为了降低抓取检测网络的参数数量,提高检测速度,采用了深度可分离卷积(Depthwise Separable Convolution,DSC)代替网络中的标准卷积,并将其主干特征提取网络CSP Darknet53替换为Mobile Netv3-large。为了使网络获得正确的抓取角度,采用了带角度的边界框调整公式和交并比(Intersection over Union,Io U)计算公式。改进后网络在PASCAL-VOC2012数据集上进行测试,其对应的平均精度均值m AP为81.8%,检测速度为57.1FPS,模型大小为32.8MB。(2)针对触觉灵巧手的机械结构,提出了一种抓取参数模型的表示方法。根据触觉灵巧手抓取时手指的分布情况,利用抓取矩形框进行参数化建模。机器人在获取抓取矩形框后,使用位置参数(x,y)和角度参数θ来确定抓取点o和向量v,其共同形成用于搜索指尖位置的坐标系。(3)为了提高服务机器人抓取感知能力,提出了一种基于触觉感知的抓取状态评估方法。根据抓取过程中触觉数据的变化,将抓取状态分为抓空、滑落和稳定抓取,设计抓取状态评估方法,对服务机器人抓取过程中物体的状态进行快速判断。(4)为了提高服务机器人的抓取成功率,提出了基于MYOLOv4(Mobile Net-YOLOv4)和压电信号的机器人视触觉融合抓取技术。在抓取过程中,通过视觉和触觉信息的反馈,调整触觉灵巧手的抓取力和抓姿。设计视觉和视触觉融合的机器人抓取实验,与视觉抓取相比,可有效降低滑落次数,在单目标场景和多目标混合场景下总的实验抓取成功率分别提高23.3%和24.2%。
其他文献
本文以天然多糖决明子胶(CG)为成膜基质,分别以槐米提取物(FSIE)与桑叶提取物(ME)作为抗氧化剂制备出了两种针对油脂类食品包装的抗氧化膜。通过包油实验探究了抗氧化剂添加量对膜保鲜效果的影响。然后,以乙基纤维(EC)为阻湿剂制备了阻湿效果提升的决明子胶/乙基纤维素复合膜,通过包菜实验建立了乙基纤维素添加量与膜阻湿效果间关系。为了继续增强膜阻水性能,以玉米醇溶蛋白膜(Zein)做内层,CG-EC
学位
高强铝合金作为重要的轻质高强耐蚀结构材料,在军用民用领域都有着广泛的应用。研制强度级别更高的高强铝合金是先进轻量化装备不可或缺的支撑材料。迄今为止,国内外对800MPa强度级铝合金的研究极少。本文研究了Ce微合金化对800MPa强度级超强铝合金组织性能的调控。主要的研究工作和取得的结果如下:(1)研究了三种稀土元素(La、Ce、Er)对超高强Al-Zn-Mg-Cu系铝合金组织性能的调控。结果表明:
学位
复合材料因其质量轻、强度高等优点被广泛运用于航空航天、汽车、船舶等领域。夹芯结构作为一种新型复合材料结构,近年来受到广泛关注。夹芯结构一般由上下两复合材料面板与金属材料芯层组成,与传统复合材料相比具有更高的比刚度、比强度。在制造、使用和维护过程中容易受到外来物冲击,使材料性能大幅下降,给后续使用带来安全隐患。随着复合材料夹芯结构在各领域的广泛应用,其低速冲击载荷下损伤行为及剩余力学性能成为目前复合
学位
作为电力系统中非常重要的电气设备,气体绝缘组合电器(gas insolated switchgear,GIS)设备的安全稳定运行非常重要。局部放电因绝缘故障而产生又影响绝缘性能,放任不管很容易造成绝缘击穿,严重时会导致设备停止运行,造成经济损失。本文针对局部放电脉冲电流能产生脉冲磁场这一特性,提出利用TMR(Tunnel Magneto Resistance,隧道磁阻)磁传感器对脉冲磁场进行感应从
学位
纤维素是地球上储量最丰富的聚合物之一,纤维素纳米晶(CNCs)可由纤维素通过酸水解制得。纤维素纳米晶在一定浓度状态下可以形成手性向列型液晶相,其可选择性反射圆偏振光,产生虹彩颜色。这种虹彩颜色可以通过改变折射率或手性向列型结构的螺距得以调整。通过控制螺距尺寸得到均匀且长程有序的手性向列结构和均匀的结构色的纤维素纳米晶薄膜是在先进光学应用中的关键,而通过引入单糖作为一种插层剂调控其螺距的大小是一种良
学位
材料表面微造型技术已被广泛应用于航空航天、微机电等高端制造领域,但现有微造型加工手段,如反应离子刻蚀和压刻技术等,往往污染较大、流程复杂且能耗较高。因此将无污染、操作简便且能耗较低的激光诱导空化技术用于微造型加工具有重要研究价值。本文以微型电子元器件常用的1060铝合金为靶材,将激光诱导空化时产生的微尺度瞬态高压力学效应施加于材料表面,制备因材料微塑性变形而产生的微造型凹坑。通过搭建激光空化力学效
学位
通过梳理《黄河流域综合规划(2012—2030年)》和《黄河流域水文设计成果修订报告》中黄河流域水资源总量成果,综合设定12种供需情景,结合黄河流域经济社会发展规划、节水规划等开展2030年流域经济社会需水量预测,并对流域水资源承载能力进行分析。根据水资源承载能力现状与经济社会发展之间的矛盾,有针对性地提出立法、节水、调水、监管等适应性对策,以期为黄河流域生态保护和高质量发展决策提供参考。
期刊
热障涂层(Thermal Barrier Coating)技术,是航空航天飞行器发动机等零部件的重要热防护技术。如何提高TBC在高温环境中的服役性能是研发高性能航空发动机所面临的关键技术难题。金属粘结层是热障涂层的重要组成,金属粘结层的综合性能对于热障涂层具有重要影响。激光冲击处理可调控粘结层表面形貌、粘结层内组织应力,进而调控粘结层抗氧化性能。目前关于表面改性方法调控粘结层残余应力场的研究较少,
学位
胚芽米是一种加工精度较低且保留胚芽的大米,含有多种营养物质。但在储存阶段,会产生大量的脂肪酶、脂氧合酶以及过氧化物酶等,从而促使胚芽米中营养物质发生代谢,造成品质劣变。因此如何延长胚芽米的储藏期并延缓其品质劣变是当前亟待解决的问题。针对存在的问题,本文采用过热蒸汽联合热风的灭酶方法,对灭酶装置及工艺、灭酶后胚芽米品质检测方法等进行研究,主要研究内容如下:(1)胚芽米灭酶装置设计。从胚芽米灭酶需求出
学位
随着农业集约化、规模化及产业化的发展,为进一步提高作业效率,作物收获方式出现多台联合收获机协同作业形式,即联合收获机群作业模式。目前,对于联合收获机群相关的研究主要为导航控制相关方向,对于在机群作业模式下作业信息监测相关研究较少。联合收获机作为一个具有复杂机械传动结构的系统,较容易发生部件堵塞故障,对于整个联合收获机群的作业效率有较大影响。因此,需要对联合收获机群作业信息进行实时监测,并对堵塞故障
学位