随着深度学习技术的不断发展,计算机视觉领域与自然语言处理领域相结合的相关任务研究逐渐成为计算机领域中的一个研究热点。虽然之前已经有相关的研究,如图像语义描述生成以及视觉问答任务,但是这两个任务都只能通过单次交互帮助人类对图像中的信息有基础的了解,而现实生活中对图像中内容的理解是一个循序渐进的过程,即需要通过多次交互对图像中部分内容进行理解,进而通过不断累积最后实现对图像中全部内容的理解。因此,为了能更好地模拟人类在现实生活中通过交互的方式对图像进行理解的过程,相关研究者提出了多轮问答形式的视觉对话任务。视觉对话任务的目的是在给定一张图片、之前的对话历史（问答对）以及当前提出的问题的基础上,对当前问题的答案进行预测,这就不仅需要对图像中的视觉信息以及对话历史和当前问题的语义信息进行深入理解,同时需要分析和利用不同模态信息之间的关系。本文主要针对视觉对话任务中不同模态数据的视觉语义表示进行了研究。本文提出了基于视觉选择的视觉对话方法,该方法主要考虑到视觉对话中的每个问答阶段都只关注于图像中的部分区域,因此对图像中相关区域进行选择可以帮助提高视觉对话中问题回答的准确性。该方法主要包括三个模块,其中,视觉特征提取模块对图像中有意义的物体（区域）特征进行提取;视觉选择模块基于对话历史和当前问题形成语义指导,并根据语义指导对与当前问题相关的物体（区域）中的视觉信息进行选择,在这一模块,我们提出了三种不同的语义指导生成方法以及三种视觉特征选择方法并比较了不同方法的有效性;多模态融合模块将最终的视觉特征、问题特征以及对话历史特征进行融合,并与所有候选答案特征计算相似度,相似度最高的候选答案作为预测答案。本文还提出了基于多层次注意力机制的视觉对话方法,同时关注了对话历史、问题和图像的高水平信息和低水平信息。该方法主要包括四个模块,其中,特征提取模块对图像特征、问题特征以及对话历史特征进行提取;低层次注意力模块利用对话历史和当前问题文本中单词之间的关系对文本单词的特征表示进行补充,并利用图像中物体（区域）之间的关系对物体（区域）的特征进行补充;（3）高层次注意力模块对对话历史和当前问题文本中重要单词进行选择,并根据当前问题对图像中相关物体（区域）进行选择;多模态融合模块融合了多种特征并将融合后的特征与所有候选答案特征计算相似度,相似度最高的候选答案作为预测答案。