将语音情感识别技术应用于对话系统中可提高计算机的智能化,是人机交互领域的重要研究方向之一。由于语音中不仅包含表达情感的声学特征,还包含丰富的语义信息。因此,该文基于语音和文本两种模态,对不同的语音特征选择及模态融合方式进行相关研究,构建了三种不同的双模态情感识别模型,旨在提高情感识别的准确率。具体研究内容如下:首先针对语音和文本的跨模态特征层融合,构建了基于卷积循环神经网络的双模态情感识别模型。该模型采用特殊尺寸卷积核加残差块的结构提取语音情感特征,采用长短时记忆网络加多头注意力机制的结构提取文本情感特征,然后采取直接级联两种模态情感特征的方式进行融合。通过对单模态模型进行参数对比实验,选择最优的模型参数,最终的实验结果证明了双模态模型可以利用语音和文本的互补性,并在每种情感的识别精确率上均优于单模态模型。其次为了充分利用语音和文本模态间的时域相关性,构建了基于注意力机制和特征对齐的双模态情感识别模型。该模型利用沉默消除算法删除语音中未发声部分,然后通过注意力网络将语音特征转换为每个单词在表述时的语气特征,并将该语气特征与文本编码在时域上对齐拼接以得到融合特征。通过多个对比实验证明了沉默消除算法和注意力机制在情感识别模型中的有效性,且相对单模态模型有较大的性能提升。最后针对单个编码器无法为不同语音特征分别建模的问题,构建了基于多流输入和特征对齐的双模态情感识别模型。该模型通过单模态和双模态的情感识别实验,分析九种不同语音特征对情感识别的敏感度和对文本特征的契合度,并选取其中三种作为模型输入,之后采用多流输入的方式对三种语音特征分别建模以完成融合。通过对三种不同特征组合的实验表明,多流输入的方式能捕获更多的情感信息,提高情感识别精度。