近年来,情感识别成为了人机交互领域的研究热点问题,通过人类情感表达时所产生的行为、生理和心理反应去量化、描述和识别不同的情感状态,根据情感表示模型利用音视频模态信息构建情感识别模型。情感是时序变化的,也是通过音视频模态进行表达的,在单模态情感识别虽然有了一定的研究成果,但音视频模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注。而音视频模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。本文分别从单模态维度情感识别、基于BLSTM模型的维度情感识别、基于Transformer模型的维度情感识别等方面对情感识别方法进行了改进,并在此基础上研发了情感识别系统。主要研究工作如下:（1）在单模态维度情感识别方面,为了探究有效的情感特征和情感识别模型,解决不同模态情感特征的性能差异问题,本文提取了音频、视频和文本多种情感特征,并在多种情感识别模型中进行了大量实验,对情感特征和识别模型的性能进行了对比,为多模态维度情感识别实验中的特征选择和基础模型选择打下了基础。（2）为了提高情感识别性能,解决小数据集和数据标签不匹配的问题,本文提出了情感数据集的数据增广和数据标签延迟优化方法,构建了改进的双向长短时记忆网络（Bi-directional Long Short Term Memory,BLSTM）模型特征层融合维度情感识别模型,对情感识别性能有了较大的提升。然后,针对特征层融合存在不同模态之间的同步问题,又构建了改进的BLSTM模型决策层融合维度情感识别模型,该方法可以在不同时刻从耦合的模态中提取更有效的情感特征,对情感识别性能提升取得了更好的效果。（3）为了解决在BLSTM模型中存在的多模态信息流同步和不同模态信息关联的问题,本文基于多头注意力机制（Multi-Head Attention）构建了基于Transformer模型的深层特征学习,并分别在特征层、决策层、模型层维度情感识别中做了探究实验,结果表明Transformer模型可以有效提高情感识别性能。本文所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。此外,为了便于观察在不同测试视频中情感识别的效果,研发了基于音视频的情感识别系统,能够更加直观的展现实验结果。