基于机器人灵巧手触觉的物体感知与抓取控制

来源 :东南大学 | 被引量 : 0次 | 上传用户:music_cat
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
感知外部环境是机器人实现智能化控制和交互的前提,是机器人完成精细操作的基础。触觉作为机器人系统中一种重要的传感模态,它不仅反映了机器人与环境的交互情况,也刻画和描述了所接触物体的物理属性和空间信息。近20年来,传感器技术快速发展,柔性阵列式的、高敏的、高分辨率的触觉传感器已逐步成为新型智能机器人灵巧手的“标配”,研究如何获取、理解和利用这些触觉信息,对于提高机器人环境感知能力和进行灵巧手精细操作具有重要意义。本文围绕基于灵巧手触觉的物体感知与抓取控制方法这一课题,组建了由Barrett BH8-282型灵巧手、Schunk LWA 4D型机械臂和Star Form Swift深度相机为主要设备的实验系统,分别就基于触觉的物体硬度识别、基于视触点云的物体几何属性感知、视触融合的灵巧手自主抓取等问题开展了研究工作。针对物体硬度识别问题,在分析灵巧手触觉数据的时空特点的基础上,提出了一种CNN-LSTM组合神经网络模型,并基于自建的抓取触觉数据集进行了模型训练和验证,对物体硬度属性识别的正确率达到了95.0%;此外,还设计了基于物体硬度在线识别的PD抓取控制流程,实现了灵巧手对不同硬度物体的柔性抓取。针对物体几何属性感知问题,首先提出了一种基于灵巧手主动触觉的物体三维点云生成方法,通过设计合理的灵巧手探索程序,机器人可以对已知位置的固定物体进行三维点云的采集,进而确定物体的形状、尺寸和姿态信息;其次,尝试了将深度相机采集的视觉点云与灵巧手采集的触觉点云进行配准融合,并进行模型重构,最终得到了更准确的物体几何属性识别结果。针对灵巧手自主抓取任务,本文在上述研究的基础上,设计实现了基于视触觉的灵巧手系统自主抓取功能。在自主抓取过程中,首先利用视触觉点云感知方法获得目标物体的位姿和尺寸信息;其次,系统根据这些信息直接查询和采用预先存储的灵巧手抓取姿态,并通过完成机械臂路径规划与实施过程引导灵巧手到达目标位置;最后在抓取执行阶段,基于灵巧手触觉对抓取力进行精细的控制;利用该系统对14种物体进行自主抓取实验,平均抓取成功率到达了88.57%。
其他文献
单目深度预测是计算机视觉中备受关注的研究课题,在自动驾驶、VR游戏制作、影视制作等领域具有广泛的应用价值。然而,目前该领域仍然存在较多为解决的问题,例如使用雷达激光采集深度数据的过程耗费巨大且受天气、光照等客观因素影响大;基于稀疏深度图恢复的深度信息的方法存在边缘深度不连续的问题。本文利用立体图像对进行训练,旨在提高场景深度预测网络的预测能力,对深度网络结构、双目立体匹配、视差图优化等方法进行了研
继美国、欧盟、日本之后,中国于2016年提出中国脑计划,神经性疾病的早期诊断是中国脑计划的一个重要研究方向。癫痫是由脑神经的异常放电引起的神经性疾病,其发作频率高且严重影响患者生活质量与生命安全。癫痫患者中有30%为耐药性癫痫,其治愈手段是采用外科手术来切除癫痫病灶,决定手术成功与否的关键是如何在术前评估阶段有效地识别癫痫病灶与正常功能区。在众多术前评估手段中,颅内脑电图(i EEG,intrac
可定制交互式视频是指在视频编辑和制作的过程中,可以根据不同的受众定制不同内容的交互式视频。目前,可定制交互式视频凭借其可交互、信息量大等优点拥有很大的市场需求(商品导购等)。然而,在可定制交互式视频的制作过程中,当前还面临两个主要问题:第一,对于视频目标检测,视频中经常出现如目标运动模糊、视频散焦、目标姿态奇异以及遮挡等帧图像恶化现象,传统视频目标检测算法难以在此类视频目标检测任务中达到较高的检测
基因作为遗传的基本单位,控制着生物的基本性状,对于个体识别和血缘鉴定都具有决定性的作用。通过基因预测人体的面部形态在刑侦以及法医领域一直是研究的热点,目前比较流行的DNA分子画像技术主要通过全基因组关联分析(Genome-wide Association Study,GWAS)结合单变量差异分析技术或者基于三维稠密数据点研究基因与面部形态之间的关联性,然后通过机器学习算法建立对应的预测模型,这些方
随着信息技术的发展,数字图像深入到我们生活中的方方面面。深度学习是近年来在人工智能领域引起关注的研究主题。作为深度学习的经典模型,卷积神经网络(CNN)在图像分类,对象检测和自然语言处理方面取得了一系列重要的突破。卷积神经网络模型具有计算复杂度高和参数量大的特点,正是这种复杂的多层网络结构为模型提供了强大的特征表示能力。智能设备的普及增加了将卷积神经网络移植到嵌入式设备的需求,但是其巨大的参数冗余
颅骨面貌复原领域中,面部特征点软组织厚度的获取是一个十分重要的步骤。目前颅骨面部特征点处的软组织厚度的获取主要是通过先进的医疗设备和专业的医护人员进行相应的配合得以实现,但是这种方法存在一个很大的缺陷即对于骸骨则无法进行面部厚度测量。近年来广泛的做法是采用平均值法,但由于未考虑骸骨之间的差异性,使得复原的面貌具有相似性。本论文采用深度学习方法,通过网络中隐含层构成的非线性映射,学习头骨和面貌之间的
数据采集是无线传感器网络领域的重要研究方向,传统基于固定汇聚节点和移动汇聚节点的采集方式均存在明显不足。随着无人机技术的不断成熟,基于无人机的数据采集可以有效弥补传统方式的不足,得到学术界广泛关注。由于无人机携能有限,大部分相关研究主要围绕提高网络吞吐率或延长网络生命周期对无人机能耗进行优化,取得一定进展,但仍面临如下挑战:一方面无人机能耗建模不精准,以距离相关能耗模型为主流,忽略了飞行速度与飞行
心脏功能分析在临床心脏病学中对患者管理、疾病诊断、风险评估和治疗决策起着重要作用。心脏磁共振(Cardiac Magnetic Resonance,CMR)图像主要用于心功能评估和心血管疾病诊断。CMR图像被认为是进行非侵入性心功能分析、估算临床参数的金标准。从医学图像中描绘重要的器官和结构常是估算临床参数、疾病诊断、预后预测和制定手术计划的主要步骤。在临床诊断中,放射科医生通过手动或半自动绘制包
随着无线网络技术(如5G)的快速发展和高服务质量(Qo S)需求的增加,对网络资源的有效管理变得越来越重要。为了提高业务调度的Qo S和网络资源利用率,许多学者进行了大量研究。实现这一目标的一种有效方法是对网络流量进行队列管理和调度。然而,队列管理调度的排队特性有一个隐含的缺点。由于需要通过检查网络链路上的剩余带宽来实时计算网络流的可行路由,在顺序处理队列中的流量时,计算可行路由可能很耗时。值得注
人们的交通出行发展从传统的燃油汽车转向新能源汽车,并向共享化和智能化发展,特别近年来以深度学习为主的人工智能技术的发展带动了自动驾驶汽车技术的发展和落地,深度学习算法在图像和自然语言处理等领域展现出强大的性能和泛化能力,为自动驾驶汽车的感知定位系统提供了强有力的解决方案。同时激光雷达器件的发展,感知距离越来越远,激光雷达线束也越来越多,分辨率也越来越高,赋予了自动驾驶汽车等智能移动机器人系统直接感