近年来深度学习技术在计算机视觉和自然语言处理等领域取得了成功。随着深度学习技术的进步,视觉分析、自然语言处理等任务的性能不断提升。研究人员开始关注视觉与语言相结合的多模态任务,如图像描述、视觉问答和视觉对话等。此类多模态任务不仅依赖对视觉内容的准确分析,同时也要求对自然语言的准确理解。其中,视觉对话(Visual Dialog)旨在给定一幅图像、若干轮对话历史以及后续问题后,计算机能准确回答此问题,完成对话。相比于其他多模态任务,视觉对话任务更为复杂,且在聊天机器人、智能客服、盲人辅助导航等领域都有着广泛的应用前景,已成为当前的研究热点。现有的视觉对话技术大多采用“编码器-解码器”技术框架,在每一轮对话中,由多模态的编码器将视觉、语言样本输入编码为特征向量,再由解码器推理并输出该轮问题的答案。然而,现有方法没有充分考虑图像、对话历史以及后续问题之间的相关性,无法表征三者之间的协同信息。同时,现有方法仅使用数据样本中正确对话历史来生成问题的答案,忽略了错误对话历史对问题答案的潜在影响,导致模型缺乏对对话历史的敏感性,无法有效地进行基于对话历史的上下文推理。为充分挖掘利用视觉对话过程中的对话历史信息,提高视觉对话任务性能,本文的主要研究内容如下:1)为对图像、对话历史以及后续问题进行有效的特征编码,本文提出了一种基于历史感知协同注意力网络(History-Aware Co-Attention Network,HACAN)的视觉对话网络模型。该模型在计算三者各自的特征表达时通过协同注意力机制综合考虑了其它两者的影响,实现三者之间的特征信息交互,不仅充分挖掘了各自特有的特征,同时也充分表达了三者之间的协同信息。2)为了提高模型对对话的上下文推理能力,本文提出了一种基于历史优势序列训练(History-Advantage Sequence Training,HAST)的网络训练方法。该方法在训练中将部分对话历史进行篡改,并分别对基于正确对话历史和经过篡改的对话历史所得到的答案进行评估。评估分数之差作为历史优势,量化对话历史对模型输出答案的影响,反映篡改部分与后续问题的语义信息和逻辑关系,引导网络学习对话间的逻辑信息。该方法通过将历史优势引入网络梯度计算,并将梯度反向传播至历史感知协同注意力网络进行训练,实现了上下文推理能力的学习。3)为验证融合历史的视觉对话技术的有效性,本文设计了一系列的消融实验。实验表明,历史感知协同注意力网络模型及历史优势序列训练方法能够有效地利用对话历史信息,提升视觉对话模型的准确性。同时,在三个主流的视觉对话数据集上,本文所提出方法的性能也超过了同期的视觉对话方法。