随着情感分析领域研究的不断发展,音乐作为人们日常生活中常见的多模态信息载体,其往往通过歌词和旋律传递情感,因此也被逐渐纳入到情感分析的研究范畴之中。除了歌词和旋律,音乐的结构,如主歌和副歌也在传递音乐情感中扮演者重要的角色,起到了情感指示器的作用。音乐的这些特性使得音乐能够在短时间内准确地捕捉到听众的情感,进而引发共鸣。为了更好的探寻音乐与情感之间的关系,本文利用深度学习的方法从音乐情感分类及基于情感约束的音乐生成两个维度展开研究工作:(1)融合多模态信息的音乐情感分类。为了更好地分析音乐中蕴含的情感,本文首先提出了一个层次化的音乐分析框架用于分析音乐的结构。然后,构建了一个新颖的多模态交互框架,抽取每个时间步上当前的情感向量,再对情感向量进行融合更新,从而约束多模态之间的情感保持一致。最后,本文融合音乐结构分析和多模态交互的结果实现对音乐情感的分析。实验在构建的音乐数据集合上开展,实验结果表明所提出的融合多模态信息的框架在音乐情感分析任务上取得良好的实验结果。(2)基于情感约束的音乐生成。在音乐情感分析结果的基础上,本文进一步开展了音乐生成的任务。基于音乐的词曲间往往存在一致的情感表达这一特点,本文构建了一套基于强化学习的对偶Seq2Seq框架,通过引入情感一致性的奖励值和内容保真性奖励值,实现所输出的旋律与输入歌词具有一致的情感。对于音乐生成任务,不仅需要客观地探寻模型的准确性,而且还需结合人的主观评价,即听众对于所生成音频中蕴含的情感是否和歌词情感一致。在构建的数据集合上的实验结果表明,本文提出的音乐生成框架取得了不错的结果。音乐作为人们情感表达的主要载体之一,其蕴含的多种模态信息与情感类型为本文的音乐情感分类及音乐生成工作提供了重要的研究基础。本文开展的融合多模态信息的音乐情感分类和基于情感约束的音乐生成工作,不但可为如音乐创作、音乐推荐等实际应用场景提供有效的技术支持,而且同样可以在一定程度上推动音乐情感分析领域的研究与发展。