受人口老龄化程度加剧的影响,室内移动服务机器人战略已被上升为国家战略,被认为是养老助老服务和陪护工作的有力助手,但是其智能化程度还不能满足人们的需求。机器人的环境感知技术是实现其智能化的关键技术之一,所以感知技术一直为服务机器人领域研究的热点问题。同时定位与建图(SLAM,Simultaneous Localization and Mapping)技术已经取得了很大进展,但随着家用机器人的广泛和长期使用,机器人对环境感知和安全的认知能力远远无法满足待操作目标定位、环境火情判断等服务和安全巡查功能的需求。因此,本课题将可见光、深度与热红外传感器用于移动机器人环境感知技术研究,提升机器人环境感知的智能和深度能力,具体内容如下:研究移动机器人异构传感器配准技术,实现机器人多维信息感知一致性。采用RGB-D相机和热成像传感器结合构成机器人的视觉系统,并设计标定模板,实现RGB相机和热成像传感器的内参同步标定,采用线特征实现两个相机的外部校准,并利用图像融合技术将R、G、B、T四维信息进行三通道显示。本文以ORB-SLAM2算法为基础,构建了RGB-DT SLAM框架,实现了三维环境热场地图的构建,显示环境温度场和物体清晰的外形和纹理等多层次信息。为了弥补RGB相机在光线较弱的环境下,基于RGB图像ORB特征的SLAM稳定性差的问题,选择利用受光线影响较小的热红外图像和深度图像实现机器人位姿估计的新方案,提升机器人定位稳定性。为了提高服务机器人对环境的理解程度,本文利用语义分割技术实现目标物体的定位与识别。首先利用卷积神经网络,实现目标物体在二维图像中分割与定位,然后将物体的语义信息与温度信息关联,显示物体的主体温度,然后结合SLAM算法得到的位姿,将带有温度语义信息的二维图像进行投影,从而得到三维温度语义地图,提高机器人的智能化程度和环境感知深度。最后,本文以全方位移动机器人作为实验平台,验证了RGB-D和热成像传感器配准技术的稳定性以及三维环境热场地图构建的准确性和实时性,同时验证了利用热红外和深度图像进行机器人定位的准确性,最后通过构建温度语义地图,验证目标定位识别技术的可行性。