随着深度学习的发展,人工智能的各个领域得到了很大提升,包括自然语言处理、多模态处理等。近年来多轮对话改写任务、多模态图文问答任务、跨模态对话任务取得了较大进步。然而跨模态视觉对话问答任务的研究还比较少见,此任务有助于人工智能的发展。深度学习跨模态视觉对话问答任务可分为两个子任务:多轮对话改写任务和多模态图文问答任务,多轮对话改写属于自然语言处理任务,通常只与语言有关,多模态图文问答涉及了模态的融合和对齐两个方向,本文认为协同学习的方法可作为一种辅助多模态任务的手段,引入协同学习可以帮助完成跨模态视觉对话问答任务。首先对于多轮对话改写任务,针对多轮对话中因存在很多指代和省略的情况易产生歧义的特点,如果多模态模型直接输入不经过改写的对话,由于本文中缺少词语,就无法将图像特征与文本嵌入进行对齐,所以使用多轮对话改写模块重写出完整的句子。针对已有的用历史对话提供词语信息的多轮对话改写模型,本文引入了协同学习机制,在多轮对话改写的基础上,加入上下文视觉协同信息。多模态图文问答是根据图像信息给出的回答,通常此答案是上下文协同视觉信息,将此答案融入下一轮多轮对话改写任务中,形成视觉信息与文本信息的协同,引入协同学习机制,使视觉信息能够被恢复在待改写文本中,提高改写的正确率。本文提出了融入上下文视觉协同信息的跨模态协同视觉对话问答模型。将上下文视觉协同信息融入多轮对话改写任务,加强了句子中视觉信息的作用,得出包含视觉信息的改写句子。将改写句子转化成文本嵌入的形式,图像提取出图像特征作为视觉信息,采用双流的多模态处理方式,先分别对二者进行独立编码,然后将两部分信息进行交叉学习的跨模态处理,跨模态处理能够将视觉信息与文本进行模态融合和对齐,最终获得交叉模态信息,得出图文问题的答案。这个信息将作为上下文视觉协同信息进入下一轮多轮对话改写任务中,形成协同学习机制。协同学习机制能够提高多轮对话改写的正确率,也提高了对话的多模态融合对齐的效果。基于此思路对跨模态视觉对话问答任务进行理论研究,给出关键的公式,并给出了整体模型图,模型分为多轮对话改写模块、多模态融合对齐模块和协同学习模块,最终完成了跨模态协同视觉对话问答模型的构造。