基于深度视觉的服务机器人感知技术与应用研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:eidolonfish
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在复杂动态环境中,移动作业型服务机器人对服务对象、环境物体等进行感知和理解,是实现其自主智能的重要前提。与传统单目视觉、激光传感器相比,微软推出的低成本Kinect传感器可以同时获得颜色信息和深度信息,具有明显的优势和应用前景,也是当前国内外研究热点。本文系统地研究了基于Kinect深度视觉传感器的服务机器人感知关键技术。  首先针对服务对象的感知需求并结合Kinect传感器特点,提出了一种融合深度与颜色信息的粒子滤波跟踪算法,提高了服务机器人复杂场景下动态目标人的跟踪感知能力。在感知更新中,根据当前场景下深度与颜色观测特征的可靠性调整其对应的权值,从而弥补单纯使用颜色信息易受光照变化、阴影等干扰的缺点。将该权值更新策略嵌入到粒子滤波跟踪框架中,实现了复杂场景下动态目标人的跟踪,并对遮挡具有较好的稳定性。  其次针对未知室内环境下服务机器人的应用需求,提出了一种基于Kinect传感器的三维地图创建实用方法,提高了服务机器人复杂环境下的导航作业水平。由于受到Kinect视角与视距的限制,本文通过在多视点下连续采集多帧RGB-D信息,利用连续帧重叠区域之间的特征匹配关系,通过从粗到细的分层配准方法将不同视点下的多帧点云配准到同一个坐标系下,得到拼接的三维场景地图;最后利用八叉树结构对三维点云地图进行多分辨率存储,有效减少了点云所占据的存储空间。  将深度视觉感知引入服务机器人控制,利用Kinect传感器信息协调机器人手、脚运动,实现移动与作业功能:一方面,开发了基于Kinect的移动机器人局部反应式避障功能,通过实时更新局部深度信息来检测场景中的障碍物,并采用模糊推理策略设计了移动机器人避障控制器,实现了动态未知环境下快速避障运动;另一方面,开发了基于位置式的机械臂物体抓取功能,采用最小二乘法完成固定视觉的手眼标定,利用手眼位姿变换矩阵实现机械臂系统对目标的定位。  在上述研究基础上开发了基于深度视觉的服务机器人感知应用系统,实现了服务对象跟随运动、机械臂物体抓取、三维场景地图创建等三个典型功能系统,并进行了多组实验验证,实验结果表明了本文方法的有效性与实用性。
其他文献
现代飞行器的飞行空域不断扩大。当飞行器在稀薄大气层中飞行时,其上的气动舵面效率下降,单独使用气动舵面已无法满足控制需求;当飞行器在外太空飞行时,气动舵面起不到控制作
本文主要探讨OPC技术在火电厂信息化上的应用,在深入OPC规范的基础上,重点研究:如何利用OPC技术,来解决信息化过程中遇到的电站DCS开放性问题。具体包括以下几个部分:1.针对
基于自抗扰控制技术的基本原理,探索自抗扰控制技术的扩展应用,给出了自抗扰控制器的参数整定方法。火电站球磨机制粉系统是一个典型的三输入三输出的系统,本文首次将这种新
随着计算机和电子技术的发展,基于指纹的身份识别技术已经被日益广泛的用于个人的身份鉴别,比如ID卡,指纹硬盘。目前,在线指纹采集技术和自动指纹识别算法都已经取得了很大的
学位
本论文研究登月飞行器软着陆末端距月球表面2000米高空时的姿态控制问题。此时,飞行器水平速度为零,竖直速度较小,姿态存在着较大的偏差,进而飞行器转入垂直下降段。姿态调整
网络管理的问题从计算机发明开始就存在着,但是早期的网络相对来说简单的多,连入网络的设备也比较单一,所以管理起来也相对容易。随着计算机和微电子技术的发展,可以连入网络中的
本论文对广义系统观测器的设计问题进行了详细的研究和探讨,主要有下面两部分组成。首先,对于有量测输出噪声和输入扰动的广义线性系统,不仅给出了一种新的广义观测器,而且给
电力线载波通信(PLC)是使用机械强度高、系统资源丰富的高中压输电线路作为通信通道传输语音或是其他数据的通信方式。具有投资少、见效快、可靠性高、与电网建设同步等得天
所谓的滑模控制方法是一种特殊的鲁棒控制设计方法,也是一种特殊类型的变结构控制方法。在滑模控制中,系统的滑动模态对于满足匹配条件的不确定具有不变性,这种不变性比鲁棒性更
为了提高设备驱动程序的工作效率,人们在自动化软件的开发上采取了各种各样的措施和手段。而OPC技术由于具有出色的高效性、可靠性、开放性、可互操作性和即插即用等特点,越来