【摘 要】
:
随着计算机视觉技术的日益成熟,视觉系统越来越多地出现在机械臂领域中。然而,仅仅利用二指夹手的抓取动作,扁平物体的抓取存在困难,成功率较低。引入机械臂推移动作,不仅可以将扁平物体推动到平台边缘,使其能够被水平抓取;还可以清除指定物体周边的阻碍,腾出足够的空间以供抓取。本文期望通过设计一套流水线算法框架,以场景的RGB图和深度图为输入,实现场景中物体的识别与定位,自主规划推移和抓取动作序列,智能地实现
论文部分内容阅读
随着计算机视觉技术的日益成熟,视觉系统越来越多地出现在机械臂领域中。然而,仅仅利用二指夹手的抓取动作,扁平物体的抓取存在困难,成功率较低。引入机械臂推移动作,不仅可以将扁平物体推动到平台边缘,使其能够被水平抓取;还可以清除指定物体周边的阻碍,腾出足够的空间以供抓取。本文期望通过设计一套流水线算法框架,以场景的RGB图和深度图为输入,实现场景中物体的识别与定位,自主规划推移和抓取动作序列,智能地实现含有扁平物体的场景抓取任务。本文使用了一种自动收集和自动标记图像数据的方法,来制作语义分割数据集。该方法充分利用了高度自动化的机械臂-深度相机手眼系统和场景特点,大大减少了人力成本。通过排列组合,可以制作足够数量的数据使得模型得到充分的训练。本文提出了一种基于RGB信息与高度信息融合的语义分割方案来实现场景物体识别任务。区别于传统RGB-D直接融合的方式,本方案将深度信息转换为高度信息,再对高度信息进行一定的修改,以便颜色相同的不同类别的物体在高度信息上有所区分。本方案最终的表现相比传统RGB方案提高了 7.42%。对原始语义分割的输出结果进行后处理,可以得到场景中物体的类别、几何中心和主轴方向等信息。以这些信息作为输入,本文提出了基于马尔科夫决策过程的推移和抓取动作序列决策框架。该框架极力避免了推移带来的不确定影响,同时规划速度优于循环单步感知单步规划的框架。对于绝大多数目标场景,该框架可以智能地实现抓取任务。
其他文献
在中国制造2025的大战略下,生产的智能化,自动化,逐渐的成为了当前制造业发展的主流趋势,工业机器人的应用更是在其中扮演了十分重要的角色。但目前工业机器人的从业者主要工业机器人关联行业的人员,在进入正常作业状态之前,仍需要进行大量的培训任务,虽然各高职、职业院校开设工业机器人专业以应对高速增加的社会职业需求,但目前的需求仍然无法被满足,主要原因是市场上常见的工业机器人实训系统,只能实现功能单一、任
卷积神经网络(Convolutional Neural Network,CNN)依靠复杂的结构和海量的参数在图像分类和目标检测等应用中展现出优异性能,但这也为CNN在计算资源和存储资源受限的边缘端硬件部署带来巨大挑战。模型压缩方法因能够减少CNN计算复杂度和尺寸,为CNN边缘端部署的资源优化提供了可行的解决方法。参数量化作为模型压缩方法的有效手段之一,通过使用较低位宽表示典型的32位浮点网络参数,
随着“天问一号”火星探测器成功发射,我国开始了对火星的探索。高分辨率的火星图像对研究火星地貌特征,分析火星表面的天气和气候具有重要意义。目前主流的图像超分辨算法是深度学习的方法,在效果上优于传统方法。但是,现如今的图像超分辨方法中,所用的低分辨率(LR)图像通常是由高分辨率(HR)图像经过一种理想的降采样方法得到的。使用这样的方法得到的LR-HR图像对进行训练后得到的模型在理想的数据集上测试,产生
卫星遥感技术具有极其广泛的应用场景,如变化检测、地物跟踪等。由于卫星遥感影像经常被普遍分布的云层所污染,这种云层遮挡现象给遥感应用带来困难与挑战。因此,云检测是许多遥感应用的先决条件,是卫星遥感图像分析的一个重要研究领域。现有云检测方法在薄云的检测以及明亮地表的判别上存在缺陷,本文主要通过研究基于深度学习语义分割的云检测算法,旨在提升云检测精度。在薄云的检测上,因为薄云体积小、分布稀疏、透明度高、
本课题主要针对多四旋翼飞行器协同路径规划问题进行分析研究和算法设计,论文主要工作如下:首先,给出所涉及的坐标系、坐标间的转换关系,建立四旋翼飞行器的运动学和动力学模型,将多无人机协同路径规划问题分解为目标分配问题和局部路径规划问题,并给出了两个子问题的数学描述。其次,研究多无人机目标分配问题,针对两种不同的信息约束条件,分别给出了集中式和分布式的目标分配算法。通过设计编码方式和交叉、变异、选择等算
机械手在人类的生产与生活中有着十分重要的作用与地位。桁架式可收展机械手因为可以折叠,所以有便于运输,占用空间小等优点。同时,又可以通过展开变成大尺寸姿态,实现更大的操作空间,抓取更大的目标。桁架式结构特点赋予机械手更大的刚度和抓取力。本文针对一种桁架式可收展抓取机械手,通过理论分析与联合仿真验证其抓取作业的可行性,并基于联合仿真结果进行优化设计,为后续样机制作提供理论依据。通过桁架式可收展机械手构
使用机器人装配电缆等柔性工件是进一步提高生产效率和降低人力成本的关键。许多工业领域已经实现了用机器人自动组装工件。由于像电缆、柔性电路板、密封圈这类柔性工件在受外力作用时容易发生形变,大部分情况下机器人无法预测和估计工件的变形或利用工件的变形来完成装配任务,因此在研究时主要对柔性体的避障方法进行研究。但在一些环境中无法避免柔性体与环境的接触,这就需要利用柔性体与环境接触的变形来完成装配任务。本课题
图像/视频超分辨率重建任务作为计算机视觉的底层任务之一,其目的是将多帧或单帧低分辨率图片恢复成参考帧对应的高分辨率图片,由于高分辨率视频/图片提供了更为丰富的细节信息,这对于后续的诸多视觉任务至关重要,如复杂场景下的小目标检测、监控视频的行人重识别、医学成像、航空遥感图像等,这使得超分辨率技术成为了计算机底层视觉领域的一大研究热点。本学位论文基于生成对抗网络的框架,通过改进现有的循环帧处理网络结构
语音增强是语音信号前处理中的重要内容,它在助听器设备、语音通话、人机交互等领域有广泛的应用。智能设备的发展带动消费领域硬件规格提升,采用高采样率的麦克风已经成为一种发展趋势,研究高采样率语音增强有非常大的现实意义。本文对单通道48 k Hz采样率的语音增强算法进行研究,提出深度学习与传统方法相结合的语音增强方法。传统语音增强方法中最小均方误差频谱幅度估计器有较高的性能和较好的鲁棒性,该方法的效果主
随着我国实现经济全球化、市场的进一步对外开放,建筑行业受到了巨大的冲击。而在建筑行业中,室内装修占有突出地位,只有房屋装修良好美观,才能保证户主生活舒适。一方面,室内装修环境对工人健康存在威胁且工作过程的劳动强度大,虽然行业薪酬水平大大提升,但许多岗位依然出现人员严重短缺的情况;另一方面,很多工序对施工质量要求高,尤其是墙面精装修中的刮腻子工序,要求工作人员具备长期的施工经验和高超的技术水平,以保