最近几年,机器人领域在全球范围内得到了极为迅速地成长,其中,移动机器人作为各项技术的集大成者得到国内外越来越多专家、学者的关注。移动机器人需要拥有出众的机动性能,以及优异的自主作业能力。目前,大多数的移动机器人存在定位精度不高、需要专业操作人员协助作业等问题,严重制约着其发展。因此,如何使移动机器人的定位精度进一步提升,实现其完全自主作业是当下需要解决的痛点问题。本文以助老助残移动服务机器人为设计对象,围绕取送物体这一背景展开研究,对基于二维码的移动平台导航定位、基于点云信息的机械臂抓取和基于用户关节手势的人机交互这些关键技术做了具体的研究,主要研究内容如下:首先介绍了移动机械臂、基于视觉的机械臂人机交互以及基于3D视觉的机械臂抓取的国内外研究近况,然后对本文所研究的移动机械臂的整体框架进行了搭建,建立了移动机械臂的视觉系统及控制系统,然后对本文所用的AGV和大族六轴协作机器人分别进行了运动学分析。针对移动平台激光定位不精确,会导致目标物体不在机械臂工作空间内的问题,本文利用二维码读码器,识别二维码地标来进行导航定位,定位精度高,其位置精度可达±0.2mm,角度精度可达±0.1°,保证了移动机械臂导航的精确性和可靠性,非常适用于具有固定路线的家庭环境中的导航定位,为后续机械臂顺利完成抓取提供了基础。针对基于传统二维视觉的机械臂无法适应非结构化的工作环境,大大影响移动机械臂的使用范围,本文利用RealSense D415深度相机获取点云信息并识别待抓取物体,实现对不同姿态、不同水平面物体的准确抓取。首先对相机和机械臂进行手眼标定;接下来对目标物体进行点云预处理、平面检测与滤除、物体分割、基于ICP算法的点云配准,来获取抓取姿态;最后对机械臂进行运动规划,实现了对目标物体的自主抓取。针对目前移动机械臂还无法实现完全自主作业,且操作复杂,往往需要经过专门培训,对于家庭环境中服务对象存在老年人、残疾人等的问题无法解决,本文利用Kinect深度相机获取用户关节、手势信息,实现对机械臂的远程控制,使人机交互变得高效、自然,极大提升了机械臂的作业效率。最后,进行了移动平台的定位实验验证、物体抓取实验验证和人机交互实验验证,实验验证结果表明,本文设计的基于RGB-D信息的移动机械臂抓取系统及其人机交互系统具有优越的性能,拥有较高的精确度和良好的鲁棒性,能够实现家庭中非结构环境下一定程度上的自主作业。