随着智能机器人技术的广泛应用,机器人在越来越复杂的作业环境中通过感知智能获取外界环境信息。例如家庭服务型机器人需要在家庭环境中代替人类完成家务,因此需要与日常生活用品进行交互并获得其材质性能。多模态信息融合可以使机器人精确地感知周围环境,是一个充满活力的多学科领域,值得深入学习和研究。近年来,深度学习在人工智能领域中扮演着越来越重要的角色。然而,由于深度网络中包含大量的超参数和复杂的结构,这给深度学习的训练带来了极大的挑战。2017年,C.L.Philip Chen提出的宽度学习系统是一个可以在众多约束条件下灵活变换的模型。为了出色地完成材质识别任务,本文对宽度学习方法进行深入研究,研究内容和创新点如下:(1)首先针对同构多模态数据的特点,提出了面向同构多模态材质识别的级联宽度学习算法,先对同构多模态数据进行特征融合,之后用级联宽度学习进行特征学习并通过宽度学习分类器得出识别结果。实验中,通过不断增加每类材质的样本数量,验证了该算法在机器人无法获得大量学习样本的情况下可以发挥优势,训练速度显著提高且有较好的识别效果。(2)为了提高材质识别的准确性,有时需要使用不同类型的传感器进行数据的采集。通过分析异构多模态数据的特征,将特征提取、相关性学习和分类集成到一个完整的材质识别网络中,提出了异构多模态材质识别算法。先通过两个级联宽度学习结构分别提取两种模态数据的特征,之后使用核典型相关性分析算法学习融合特征,最大化两种特征的相关性。最后通过宽度学习分类器得出识别结果。(3)以室外移动机器人为研究平台,在两种采样频率和四种运行速度下对六种常见路面进行视觉和触觉加速度信号的采集,创建了多模态路面材质数据集。对触觉数据进行数据增强、高通滤波和多种傅里叶变换等处理转化成频谱图像;对视觉数据进行数据增强之后降采样。用采集的数据对异构多模态材质识别算法进行了验证。