在复杂的室内环境中,存在光线照射不均匀、物体繁多且大小不同,物体间颜色和纹理相似度高以及相互遮挡等情况,使基于彩色图像的分割方法在边界的识别和类别的划分等方面的能力表现较差,导致分割精度较低。结合彩色图像和携带空间几何信息的深度图像的语义分割方法利用物体的位置和层级信息对彩色特征进行补充,从而提升语义分割性能。但彩色图像和深度图像包含的信息具有内在的差异性,因此,探索一种高效地提取和融合多模态特征的室内语义分割方法是非常具有挑战性的。首先,提出了基于多模态特征融合的卷积神经网络（Multi-modal Feature fusion Convolutional Neural Network,MFCNN）模型进行RGB-D图像的室内场景语义分割。该模型分为编码-解码两个部分。在编码阶段,构建多模态特征编码结构,将RGB-D图像的彩色图像和深度图像作为两个独立模态进行提取特征,在RGB-D融合模态上逐层融合RGB和Depth模态特征。通过分离各模态特征的提取和融合操作,使网络获取更多的特征信息。在解码阶段,利用反卷积操作进行上采样,对RGB-D融合模态特征连续上采样数据和解码特征多倍上采样数据进行跨层级多模态连接,获得更多的上下文特征信息,利用各层级不同尺度感受域的多模态信息,增加目标识别的多尺度鲁棒性,提高模型分割精度。其次,针对MFCNN模型的语义分割图中存在类间分类错误的情况,提出了基于双注意力机制与多模态特征融合的深度神经网络（DAM-MFDNN）模型对RGB-D多模态图像特征间的关系进行深入研究。利用多模态补充注意力模块计算RGB-D图像的各通道特征间的相关性,对重要特征通道赋予较大的权值,通过加权后的多模态特征的融合对特征信息进行补充,加强特征的显著表达,获取高质量的特征信息。通过多模态全局注意力模块对深层RGB特征和Depth特征计算全局语义信息的依赖关系,加强特征对语义信息的表达能力和模型的判别能力,得到更加准确的语义分割图。最后,在NYU Depth V2和SUN RGB-D数据集上验证了上述模型的有效性,并与目前较为流行的语义分割方法进行比较,本文提出的模型具有较高的语义分割精度,在客观评价方面体现了一定的优势。