目前,搜救机器人在战争、自然灾害和NBCR等发生地的勘察和搜救任务中均有广泛应用。与常见的室内结构化环境不同,这些复杂室内环境中的非结构化地形以及各类障碍物会对搜救机器人的自主运动产生重大影响,如果无法精准认知周围环境中的各类要素,并获取其对应的位置轮廓信息,就可能导致错误的运动控制决策,使平台陷入危险当中。而视觉作为最接近人类的环境感知方式,能够提供非常丰富的纹理、排列和距离等信息,利用视觉方法来解决复杂环境的语义要素认知和位置轮廓感知,从而实现在陌生复杂环境下的三维语义建图具有重要的理论意义和实用价值。本文综合运用非监督特征编码、深层卷积神经网络特征优化以及网格化图像处理来破解非结构化地形的识别难题,通过与优化后得到的图像分割和室内三维重建算法相结合来提高搜救机器人的三维语义建图能力,取得了如下创新性成果:(1)建立了一种新颖的地形图像特征提取与优化过程,设计了一套囊括更多语类的室内场景分割算法框架。通过融合深层卷积神经网络(Convolutional Neural Network,CNN)最优层特征和费舍尔向量(Fisher Vector,FV)特征编码,建立了一种最优层特征提取加非监督特征编码的地形图像处理流程,称之为集成深度费舍尔特征(Aggregated Deep Fisher Feather,ADFF)的处理方案。该方案有效地弥补了局部化、低语义层次视觉特征与全局化、高语义层次视觉特征之间的语义鸿沟,建立起底层特征统计分布与高层语义之间的联系。通过广泛对比多种卷积神经网络、非监督特征编码和尺度集成方案,发现以Res Net50作为基准网络,FV作为特征编码方案,128×128,224×224和256×256三种尺度融合下的算法性能最优,在国际通用数据集UCM上取得了98.81%的分类准确率,随后在军科自建地形数据集Terrain8上取得了93.25%的分类准确率。最后,通过将室内周围图像分割算法和基于网格处理的地形图像分割算法相融合,生成了最终的基于ADFF的图像分割算法框架。该算法在提高传统室内图像分割精度的同时,对于室内复杂地形的分割能力得到了进一步提高。(2)完善了基于端到端的地形图像处理算法,设计了一套时间效率更高的端到端室内场景分割算法框架。通过采用基于完全端到端的重训练CNN框架,采用逐层参数遗忘并重训练的方法,在2000余张的数据容量下,有效地驱动了上百层CNN网络,取得了场景特异性和有限数据容量之间的平衡点。通过广泛对比Res Net、Goog Le Net等多种基准化CNN框架,论证了最优激活模型在地形识别领域的适用性,总结出了上述常见框架的最优激活层位置,在国际通用数据集UCM、WHU-RS19和SIRI-WHU上分别取得了99.0%、98.8%和99.4%的分类准确率以及约20Hz的时间效率,随后在军科自建地形数据集Terrain8上取得了97.08%的分类准确率,其综合性能优于目前已知的各类地形识别算法。最后,通过将室内周围图像分割算法和基于网格处理的地形图像分割算法相融合,最终生成了基于BAM的图像分割算法框架,进一步提高了室内场景的认知能力。(3)构建了一套基于RGBD的室内三维语义建图算法框架并进行了应用验证,详细介绍了现有三维重建算法的实现流程,深入对比分析了现有的单目、双目和RGBD等多种方案,并根据室内环境下的需求,选取了运算压力最小,稠密地图精度最高的Elasticfusion三维重建方案。接下来,将基于Elasticfusion的室内三维重建算法和基于BAM的室内图像分割算法相融合,有效完成了三维语义建图任务,并在NYUv2和ICL-NUIM两个国际公认数据集中进行了对比测试,实验结果显示本文提出的算法能进一步提高之前方案的场景认知能力。最后,将软件端、硬件端和算法端进行整合,在初步搭设的实验室环境下进行了实地应用性能检验,实验结果表明本文提出的三维语义重建算法可以对室内环境下各地形语义要素、伤员、周围物品进行有效地认知,整体的三维重建性能相较于传统算法有较大提高。综上所述,本文开展了视觉三维语义建图方法研究,针对搜救机器人在室内复杂地形环境下的场景认知能力不足的问题进行了重点攻关,形成了一套在室内复杂环境下切实可用的三维语义建图系统。首先,设计了两种全新的视觉地形分割的新方法,并基于搜救机器人平台开展了实地验证试验,实验结果在国际主流数据集和军科自建地形数据集上均取得了较大突破。然后,进一步优化现有图像分割框架,通过迁移学习重训练来使其进一步适应室内图像分割需求,并在公开数据集中进行了验证。接下来,将三维重建和图像分割算法相融合,在国际公开数据集上进行了实验验证。最后,将上述算法与搜救机器人平台相结合,完成了算法的实际应用实验,验证了复杂室内环境下的三维语义建图效果。本文的相关研究成果可为陌生杂未知室内环境下搜救机器人的运动控制和智能运动提供重要的参考信息。