结合当前智能化的风潮,人们对智慧家庭的期望越来越高,面向家庭环境以服务和安全巡检为主要需求的服务型机器人已成为研究热点。针对机器人在家庭环境下帮助户主取物品,识别异常发热源等任务,机器人应能感知、理解环境并进行安全监测,且能在室内长期运行。这些功能需要多模态的信息流作为输入,让机器人具备多层次的环境感知能力,以获取所需的度量信息、物体信息还有温度信息,并利用这些信息执行任务。本文结合RGB-D深度相机与热红外成像仪,围绕室内服务机器人多模态地图构建及重定位算法进行研究,内容如下:研究移动机器人多传感器标定与配准技术,实现机器人多层次信息感知一致性。本文首先根据室内环境下建图重定位的实际需求搭建了机器人平台,同时搭载了多传感器视觉系统,标定RGB-D相机和热红外相机内参,为三维立体环境建模做准备,并配准两个相机的外参,使三种图像像素在时间上同步和空间上对应,为机器人的感知系统提供可信度高的视觉信息。为了让机器人具备多层次的环境感知能力,本文以可见光信息、深度信息、物体信息、温度信息多模态信息流输入,增强其理解和探索环境的能力,以便机器人执行任务。文章将ORB-SLAM2算法作为基准框架,逐步融合RGB-D信息、物体信息和温度信息,并逐级递增构建三维点云地图、三维物体级点云地图以及基于兴趣区域的多模态地图。其中基于兴趣区域的多模态地图,包含物体的种类,尺寸,空间位置以及兴趣区域的温度,完成机器人对未知环境的感知和探索。在家居环境下,机器人需要在室内长时间作业,需要通过重定位重新找到自身的全局位姿。针对基于传统的像素级重定位方法对视角、光照变化大时会出现定位失败的问题,本文利用机器人在环境中探索到的度量和物体信息,抽取这两种信息并建立拓扑图,提出图匹配的方法,将定位问题转换为图匹配的问题,进行粗定位,再将目标物体点云分割,通过配准计算机器人的具体位姿。该算法能提高机器人重定位的精度且在视角变化较大时也能实现重定位。最后本文基于搭建的机器人实验平台,在地图构建方面,分别就三维物体级点云地图、基于兴趣区域的多模态地图建立形式、三维环境建模精度开展叙述,在重定位方面,将本文提出的重定位算法与经典算法在重定位精度以及机器人在相机视角变化较大重启时的重定位效果开展实验验证和讨论。