音乐中含有丰富的人类情感信息,研究音乐情感分类有助于对海量音乐数据进行组织和检索。由于音乐时长与组成复杂性,从中提取的情感特征表现出数量大、维度多以及难以分析的特点。现有音乐情感分类研究侧重于对音频或歌词进行单模态的分析,忽略了模态之间的相关性,存在一定程度的信息丢失。基于以上问题,通过构建多模态音乐情感分类系统,融合音频与歌词模态信息,能够有效的提高分类性能。针对音频分类,将真实音乐音频进行细粒度切分,并通过人声分离获取纯背景音片段,相较原始音频具有更好的分类性能。从中提取了语谱图和低级描述特征(Low Level Descriptors,LLDs),同时使用两种音频特征能够很好地提升分类效果,弥补单一特征的不足。针对歌词分类,采用词频-逆文件频率(Term Frequency-Inverse Document Frequency,TF-IDF)、卡方检验和改进的卡方检验三种向量空间模型以及Word2vec提取的词嵌入模型分别作为歌词文本的特征表示,经过支持向量机(Support Vector Machines,SVM)进行验证,改进的卡方检验方法考虑歌词语义的特殊性优化了参数大小,情感分类效果突出。针对单一特征的局限性以及单一网络分类方法的缺陷,本文通过利用卷积神经网络(Convolutional Neural Networks,CNN)的特征提取能力以及长短期记忆网络(Long Short-Term Memory,LSTM)对序列化数据处理的能力,并添加注意力机制,分别对音频与歌词构建了基于CNN-LSTM的单模态分类模型,用于情感分类输出。将组合网络的架构应用在音乐情感分类领域,并且对网络做出了改进,能够接受两种类别的特征数据输入,提高了分类准确性。与基础的SVM、CNN和LSTM分类方法进行对比,该模型在音频与歌词情感分类性能上都有较大提升,其中音频分类准确率达到68%,歌词分类准确率达到74%。为了融合模态情感信息,本文构建了三类多模态音乐情感分类系统。在特征级融合表示中,采用CNN-LSTM单模态分类模型来进行向量统一,避免了直接降维方法带来的分类缺陷。在决策级融合表示中,提出改进的Thayer维度决策融合方法,能够很好地利用模态之间的关联性。针对不同模态特征的异构性问题,本文提出了基于Stacking的多模态集成学习方法,获得了最佳性能表现,平均分类准确率达到78%,相比单模态的分类效果有较大的提升,具有较好的扩展性。