为了让计算机具有理解、识别、读懂和表达人类情感的能力,情感计算技术开始被深入研究,使得人类与计算机可以实现相互理解、高效互动。可是人类是一个复杂的群体,人类表达情感有着多种载体,包括表情、语音、生理信号、身体姿态等等,通过对多种模态的情感识别研究,可以帮助计算机更好地理解人类,创建更轻松的人机交互环境。本文从建立多模态老年人情感数据库、语音情感特征的提取和识别以及人脸表情特征的提取和情感识别等方面展开研究。其主要研究工作及成果总结如下:1.从情感研究的现状中,可以发现以老年人为对象的情感研究还不够充分,同时国内外研究者们建立的情感数据库中,情感表达对象几乎是年轻人,而且模态单一。针对这个问题,本文在名为《空巢姥爷》的电视连续剧上构建了视频情感数据库、语音情感语料库和人脸表情图像库,并阐述了多模态情感库的构建方法和过程。实验结果表明,构建多模态老人情感数据库是合理的和有效的。2.在自建的多模态情感数据库的基础上,采用自编码神经网络进行特征降维,并选择支持向量机作为分类器,进行语音情感识别研究。本文分别提取傅里叶系数特征(Fourier parameter,FP)、动态特征(一阶差分和二阶差分)以及全局特征(最大值、最小值、平均值、中值和方差)共计1800个特征参数。然后采用自编码神经网络对特征进行降维,将降维后的特征参数送至分类器进行情感识别。实验结果表明,降至800维特征的情感识别率最高。3.在空巢姥爷的人脸表情图像库中,本文提出以卷积神经网络为模型的老年人人脸表情识别方法,避免了对图像进行复杂的特征提取。在空巢姥爷人脸图像库上,对输入的人脸表情图像进行卷积操作,然后利用卷积神经网络模型中的池化层来降低特征维数,最后,本文采用Softmax分类器选取输出值最大的神经元所对应的类别作为分类结果。通过与多决策神经网络和自编码神经网络比较,实验结果表明,将卷积神经网络模型运用在空巢姥爷图像库上的表情识别率较好。