深度学习引起的人工智能热潮,激发了研究者们通过深度学习探索问答系统的热情。问答系统作为人机交互的重要方式,能够让机器通过人类语言与人进行交流。由于现实世界的信息通常包含多种模态,如视频,音频,文本等;而以往的问答系统研究中大多数都是针对结构化数据,文本或者图像的单一模态。基于单一模态的问答系统很难综合各种信息的来源,容易对问题的理解和自然语言的生成与实际问答场景产生偏差。建立能够处理和关联多模态特征的多模态问答模型,有助于对多模态信息进行解释和推理。多模态问答系统的主要挑战在于各个模态特征和问题之间的交互建模。由于不同模态信息和问题之间存在语义鸿沟,难以采用一般的Seq2seq模型进行回复的自然语言生成。本文提出一种基于多模态注意力机制的生成式问答模型(Mm＿Att＿QA)。Mm＿Att＿QA主要包括Encoder,场景描述,Decoder三个模块。(1)Encoder模块:Encoder模块的作用是对视频、音频、历史交互记录和当前的问题进行特征提取和编码。针对视频,采用迁移的I3D模型进行特征提取;针对音频,采用迁移的VGGish进行特征提取;针对历史交互记录和当前的问题,采用word2vec和双向LSTM进行特征提取。(2)场景描述模块:为了削弱视频、音频和文本之间的语义鸿沟对问答系统性能的影响。场景描述模块通过监督学习的方式将音频和视频的特征生成场景描述的文本信息,有利于促进融合视频和音频特征生成最终的回复。(3)Decoder模块:Decoder模块的目标是根据当前的问题输入,通过多模态注意力机制融合各种模态特征,进行回复生成。为了寻找与问题相关的特征,首先将各个特征和当前问题进行关联。生成回复文本中的每个词时,再通过多模态注意力机制寻找各模态信息中强关联的特征。为了平衡场景描述任务和回复生成任务的比重,本文提出了复合的损失函数。实验结果表明,本文所提出的多模态信息融合的生成式问答系统,在多个评价指标上均优于其他基准模型;并且对模型的影响因素做了详细的讨论与分析。