随着Kinect等深度传感器的普及和深度学习在计算机视觉领域的广泛应用,基于多模态图像的室内场景解析虽然已经取得了长足进步,但在实际应用中仍然存在不足。一方面,绝大多数算法在训练和测试阶段都依赖RGB-D图像,但彩色图像对用户隐私的侵犯性,以及光学成像导致黑暗环境下失效的局限性,使得研究在测试阶段只依靠深度图像工作的算法更具现实意义。另一方面,深度学习算法十分依赖人工标注的训练样本,为减少在陌生场景中重新标注对人力财力的耗费,需要研究能自动生成分割结果的非监督算法。针对上述问题,本文开展了基于多模态图像的室内场景解析算法研究。针对测试阶段只使用深度图像的深度学习算法,本文提出基于双编码器的深度图像室内场景解析算法,基于“编码器–解码器”的模型框架,利用双编码器分别从二维深度图像和三维点云两个角度提取特征,融合得到更具表达力的特征送入解码器进行预测,后处理高阶CRF模块保障了解析结果的类别标签一致性。为了在训练阶段有效利用彩色图像资源辅助特征提取,本文又提出基于彩色图像指导深度图像的模态知识蒸馏算法,基于双流网络模型,提出在“特许信息学习”的框架下,训练输入彩色图像的教师模型,并通过模态知识蒸馏损失函数提升输入深度图像的学生模型的特征提取能力,使最终的深度图像模型模仿彩色图像的特征提取模式,实现了不同模态的知识迁移。针对非监督室内场景自动解析的问题,本文提出基于RGB-D融合模态信息的协同分割算法,该算法利用深度图像对彩色图像的互补性,很大程度上解决了室内场景彩色图像造成的语义混淆问题。算法整体基于聚类思想对图像的超像素逐级融合,通过提出的边界平面先验,算法能够简单有效地区分图像的前景和背景部分;基于前景物体点云目标性度量的两阶段物体假设滤除机制,能够进一步更好地区分遮挡条件下不同的前景物体。