模式识别是人与动物的基本智能,而如何赋予计算机模式识别的能力是人工智能的重点研究方向。神经网络模式识别在人工智能领域占据统治地位,相比传统模式识别方法,其在多数模式识别应用任务中展现出优越性能。然而,一方面,随着神经网络模型结构的层出不穷与层数的加深,模型虽具有很高的准确性,但模型也愈发庞大,对计算资源的要求更高,难以满足实时性和轻量性,尤其是应用在有实时需求的场景中和移动端设备上。另一方面,在应用过程中单一模态数据的局限性日渐凸显,随着数据量的激增,数据模态也不断增加,充分利用多模态数据能够有效提高识别结果精度。因此,探究网络模型的轻量化、多模态数据的融合具有重要意义,本文就此进行了两个应用研究,主要工作如下:（1）在机械故障模式识别领域,使用轻量级神经网络进行故障分类。针对大多数神经网络模型计算量大与资源消耗高的缺点,对轻量级神经网络MobileNetV2进行简化,并应用于变转速工况下的滚动轴承故障模式识别。通过时频分析技术对采集的轴承原始振动信号进行预处理得到二维时频图,然后输入简化后的MobileNetV2网络,相比于原始17个反向残差块,简化网络只使用了3个残差块,在得到高识别精度的同时,模型的计算量及参数量大大降低。通过试验证明:与传统神经网络模型相比,该模型具有很好的有效性、轻量性、可靠性。（2）在情感识别领域,研究最多的是人脸情感识别和语音情感识别,使用的都是单一模态数据,未能充分利用多种模态数据。在算法上,本文融合多种模态数据并结合神经网络进行情感模式识别。首先,针对当前阶段国内外多模态情感数据集的现状及不足,设计并录制了包含表情、动作及语音的多模态汉语情感数据集。该数据集人数众多、样本量较大,为情感模式识别提供有力的数据支撑。其次,针对每一模态数据分别采用不同的神经网络进行特征提取及分类,最后使用特征层融合策略对三种模态数据进行融合,最终实验结果表明多模态数据融合方法高于任一模态的识别结果。