物体材质识别是放射性固体废物退役领域的重要基础技术之一。核设施退役产生了大量的放射性固体废物,亟需得到安全合理地分类处理,而材质识别是废物分类的基础。随着人工智能技术的不断发展,基于视听觉信号的目标分类识别能力在近年来得到了极大提升。但核退役背景下的放射性固体废物具有种类繁多、形状复杂及形变较大等特点,给基于视觉图像的材质分类识别造成了极大困难。针对以上问题,本文将从多模态的融合的角度对材质识别进行研究,提出一种基于视听觉融合的物体材质识别方法,并构建适用于物体材质识别的深度神经网络模型。本文的研究工作包括以下几个方面:(1)研究基于视觉图像的物体材质识别方法。首先完成材质图像数据库的建立,在此基础上构建基于深度卷积神经网络的物体材质识别模型,并完成模型的参数设计与优化。为了验证所提方法的有效性和可行性,在自建图像数据库上进行实验,其实验结果表明基于深度卷积神经网络的材质识别方法的可行性和有效性;通过本文所提方法与支持向量机算法的对比实验,验证了本文所提材质识别模型的有效性。(2)研究基于声音信号的物体材质识别方法。首先完成材质声音数据库的建立,并从时频域特征对不同材质声音信号进行分析。提取不同材质声音信号的MFCC特征及其差系数,并基于卷积神经网络方法完成物体材质识别模型的构建,并完善模型的参数化设计。实验结果表明基于“F1”特征和卷积神经网络的识别方法的有效性,并通过对比实验,验证了模型的有效性。(3)研究基于视听觉融合的物体材质识别方法。针对视听觉信号的互补特征,完成基于特征级的视听觉特征的融合,建立深度网络识别模型,进一步提高物体材质识别模型的性能,并通过离线识别实验验证了所提方法的有效性与可行性。最后,完成了物体材质识别软件的设计与实现。本文研究了基于视听觉融合的物体材质识别方法,实验结果表明,本文所研究的方法在自建材质数据库上的准确识别率可以达到99.14%,对实现放射性固体废物的智能化分拣具有一定的实际应用价值。