面向非结构化任务场景的机器人目标识别及定位抓取研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:kof8697
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着经济水平的不断提高和科学技术的快速发展,人们对服务机器人的需求量越来越大,对机器人的功能实现也提出了更高的要求。抓取物品是机器人的一项重要功能,服务型机器人一般工作在非结构化的生活场景中,对于机器人抓取任务而言,目标物体的种类、位姿不固定,背景环境复杂多变,给机器人抓取功能的实现带来了挑战。本文针对机器人抓取任务开展目标检测和抓取检测研究,研究机械臂抓取过程中的运动控制及避障方法,开发了一套面向非结构化任务场景的机器人目标识别及定位抓取系统,为解决非结构化任务场景中的机器人抓取任务提供技术支撑。首先,针对抓取物体的目标检测,本文对YOLOv4目标检测算法进行改进,基于Ghost瓶颈结构搭建轻量主干网络进行主干替换,引入深度可分离卷积替换部分3×3卷积以减少计算量,并在网络中嵌入坐标注意力模块以提升检测准确率,提出了GDCYOLO目标检测网络。在常见物品数据集上对提出的网络进行训练及测试,测试得准确率m AP(Mean Average Precision)为87.09%,检测速度FPS(Frame Per Second)为50.73。用户可利用目标检测分类结果使机器人抓取特定物品,避免机器人后续检测及抓取的“盲目性”;利用目标检测预测框对图像进行目标物品分割提取,作为后续抓取检测的输入。其次,基于U-Net的“U”型架构,结合残差结构和Squeeze-and-Excitation注意力机制,提出了U-Re SENet抓取检测网络,网络以目标物品的RGB-D图像为输入,由输出的特征图得到物品的抓取参数。在康奈尔抓取数据集上对U-Re SENet网络进行训练及测试,测试得按图像和按种类划分数据集的抓取检测准确率分别为97.7%和95.5%,平均检测时间为50.0ms。然后,研究设计非结构化任务场景下的机器人抓取策略,在ROS平台下完成机器人模型的构建,结合抓取检测和相机测距得到的抓取参数,给出生成抓取坐标系的计算方法,面向无障碍场景实现基于tf坐标系生成与变换的抓取;对机器人腰部的俯仰电机、底盘和机械臂间的联合控制建立数学模型,研究机器人多自由度联合运动控制方法,以扩大机械臂的工作空间,实现基于机器人俯身和底盘运动的抓取,以抓取低于机械臂工作空间下限的物品;基于点云处理算法进行场景建模,对机器人进行Move It配置,导入场景模型后,结合抓取参数、RRT-connect路径规划算法、碰撞检测和机械臂逆运动学求解完成避障轨迹求解,实现基于场景点云建模和机械臂路径规划的避障抓取。最后,对机器人的视觉感知系统进行相机标定和手眼标定,在不同场景下使用相应抓取策略,对多种物品进行抓取测试,测试结果为:检测阶段(目标检测及抓取检测)的平均耗时为122ms,基于tf坐标系生成与变换的抓取成功率为88%;基于机器人俯身和底盘运动的抓取成功率为81%;基于场景点云建模和机械臂路径规划的避障抓取成功率为84%,完整计算阶段(检测及机械臂轨迹求解)的平均耗时为1.194s。测试结果验证了本文实现的机器人抓取系统对于非结构化场景下抓取任务的可行性和实用性,为服务型机器人的应用推广提供技术支撑。
其他文献
随着音频硬件技术的进步,录音装置越来越普及,并且呈现出小型化、隐蔽化的趋势,在方便快捷地录制音频的同时也对隐私信息安全产生了巨大的威胁。例如录音笔这类具有高隐蔽性的小体积录音设备被广泛使用,人们可能在毫不知情的情况下被记录私密的谈话内容,从而泄漏个人隐私、商业情报甚至国家机密。由于隐藏录音设备通常难以发现,当下对防窃听技术的需求愈发迫切。为解决隐藏录音设备带来的隐私安全问题,本文围绕防窃听技术进行
学位
工艺设计组件(Process Design Kit,PDK)是包含晶圆代工厂(foundry)完整工艺制造信息的数据文件系统。PDK技术能将工艺信息直观、准确的传递给IC(Integrated Circuit)电路设计工程师,大大降低了电路设计行业的门槛,提升了电路设计的效率。因此,使用PDK技术协助IC电路开发的模式已成为当前芯片设计的主流方案。但随着集成电路产业的发展,对于PDK技术的需求空前
学位
药物发现过程从新药设计到上市后的临床监测包括数个阶段,周期长、代价大且可能在各个阶段以失败告终。人工智能可为该过程的诸多环节降本增效,进而提高结果质量。分子性质预测作为药物发现早期的基本任务之一,旨在尽早剔除性质与预期不符的分子,只允许最有价值的分子进入后续环节。药物被批准上市后,临床用药时不仅需要考虑药物自身的性质,还需考量药物间相互作用的对药物有效性和安全性的影响。由于药物分子自身结构以及药物
学位
在无损数据压缩中,相比于字典编码,熵编码能够获取到更好的压缩效果。熵编码基于数据的统计信息,常用的算法有霍夫曼编码(Huffman)、算术编码AC(Arithmetic Coding)。循环神经网络RNN(Recurrent Neural Networks)是一种为序列数据设计的统计模型,在训练后能够计算出符号出现的伪概率,结合算术编码,可以对序列数据进行有效的压缩。现在较为成熟的压缩算法中,所使
学位
图是由顶点和连边构成的数据结构。近年来,图数据受到学术界和工业界的广泛关注。中国信息通信研究院将大规模“图计算平台”列为“2022大数据十大关键词”之一。社区是图中稠密的子结构,它反映了图中相似个体的局部性特征和关联关系。例如,蛋白质网络中的社区体现了生物系统的组织和功能,社交网络中的社区体现了用户社群结构等。社区检测对理解图的结构至关重要。按是否包含查询点,研究者将社区检测划分为两个子问题:(1
学位
随着工控系统和传感器技术的发展,应用了传感器的工控系统越来越多,在传感器让工控系统的运行变得更加便利的同时,传感器暴露出来的安全隐患也越来越多,针对传感器的安全研究也愈发重要。电磁干扰攻击是一类比较常见的针对传感器的攻击,目前,大部分利用电磁干扰攻击传感器的研究针对的都是模拟传感器,针对数字传感器的安全研究非常稀少,然而数字传感器在市场上也占据了很大的比重,如果数字传感器遭到不法分子攻击,将会对人
学位
[目的]准确评估区域碳储量的时空分异,分析其地形梯度效应及对土地利用的脆弱性,对区域“双碳”目标的实行具有重要意义。[方法]以武汉城市圈为例,采用InVEST模型借助GIS平台评估区域碳储量的时空分异特征,并基于DEM数据运用地形位指数探讨碳储量的地形梯度效应,再利用潜在影响指数揭示碳储量的脆弱性。[结果](1)武汉城市圈2005—2020年总碳储量先减少后增加,在空间分布上呈现中西低、南北高态势
期刊
生态网络构建是国土空间生态修复的重要内容,可以有效遏制栖息地破碎的负面效应。本研究提出一种改进的生态网络分析框架,包括基于“形态-质量-功能”3个维度识别生态源地、将可以表征人类活动的兴趣点数据与生境风险评估模型结合构建生态阻力面、运用电路理论提取生态廊道3个方面。以武汉城市圈为研究区,分析生态网络关键点和网络结构特征,并将基于兴趣点与生境风险评估模型的生态阻力面构建方法与传统地类赋值法和传统生境
期刊
软测量是指通过建立易于测得的过程变量与目标变量间的数学模型,对目标变量进行预测的一种测量方法。而受当前传感设备老化、零漂噪声等因素影响,真实工业场景下获取到的工业数据往往包含大量的弱标签数据和少量的有标签数据。传统的直接标定方法存在一定的局限性,带来更高的成本甚至额外的噪声信息,而直接利用弱标签数据会使得原有的软测量模型包含了噪声信息从而使得预测不准确的问题,而仅仅使用少量的有标签数据则会限制模型
学位
高铁线路高大桥墩分布在水域或者山坳等特殊环境下,现场实施人员检测螺栓支柱各式指标的工程量和作业难度主要为:(1)作业难度大,危险系数高;(2)测量周期长,整个准备工作复杂且难度大,需要占用大量的人力和时间,影响项目施工进度;(3)数据不易保存分析,难以进行后续的分析、查阅。利用无人机系统携带检测设备进行作业,取代人工携带设备行进、攀爬等过程,能降低作业难度和危险性。本文研究的是深度相机拍摄到的铁路
学位