居家养老是解决我国养老问题的重要方式,家庭陪护机器人将在居家养老中发挥重要的作用。本文研究家庭陪护机器人场景感知的关键技术,其中包括场景识别、机器人定位和人机交互。首先,实现基于机器视觉场景语义分割,识别场景中物品的类别及位置;然后,结合场景感知信息提高陪护机器人在动态家庭场景下定位的鲁棒性及精度;最后,在机器人陪护功能方面,结合场景语义信息研究人机交互功能,使得一些高语义层面的人机交互任务成为可能,如拾取、搬运等操作,同时,研究老人异常状态监测方法,如摔倒、异常生活行为习惯监测等,守护老人的生命安全。本文主要研究工作如下:(1)提出了基于深度卷积神经网络的场景感知模型,分别是基于RGB图像的深度预测网络和基于RGBD图像的语义分割网络。传统激光雷达或机器视觉采集所得的点云信息缺乏生活语义属性,这局限了语义层面的人机交互需求。通过深度预测和语义分割,使得机器人自主获知场景中物体的类别以及相对位置,这赋予了机器人语义层面的场景感知能力。(2)提出了语义约束、深度约束、HSV特征点匹配、动态抑制和语义回环检测5种机器人定位优化方法。首先,利用语义分割和深度预测算法提高了机器人对场景感知信息的维度,在视觉SLAM系统视觉里程计中通过语义约束和深度约束方法抑制误匹配特征点;其次,利用语义信息辅助回环检测以提高系统算法的稳定性;最后,结合图像语义分割技术以及动态检测技术,对动态物体进行动态抑制,抑制图像特征误匹配。通过以上方法提高家庭陪护机器人的定位鲁棒性及精度。(3)结合点云信息和语义信息,构建场景的语义地图,实现家庭陪护人机交互功能。根据老人的指令模拟实现自主地物品拾取或物品搬运,辅助老人完成基本的家庭生活自理任务;通过动态跟踪识别老人的位置并提取其当前的骨骼特征信息,结合语义信息以及骨骼特征变化信息,判断老人摔倒的可能性;通过记录老人的日常生活行为习惯,从时间、空间上判断老人发生异常的可能性。(4)结合前面提出的研究内容和方法,构建一个家庭陪护机器人实验平台,并搭建与之相对应的硬件平台与软件平台,对场景感知、机器人定位及地图构建进行实验,实验表明,本文研究的内容与方法具有实际可行性。本文的创新点如下:(1)提出了基于单目摄像头的RGBD语义场景感知方法。利用深度预测所得的深度数据D与图像RGB组合成RGBD四通道图像,提高了语义分割模型的精度。(2)提出了基于语义SLAM的动态场景机器人定位优化方法。针对家庭环境中动态变化的人、物、光照以及机器人自身的移动,利用语义约束、深度约束、动态约束、HSV特征匹配以及语义回环检测等方法,提高陪护机器人的定位鲁棒性及精度。(3)提出了一种语义层面的人机交互实现方法。结合文中研究的语义分割和机器人定位技术研究,构建场景语义地图并实现了家庭场景中物品类别的检索及模拟抓取、搬运实验。