随着多媒体和互联网的发展,如何处理海量的图像与文本信息成了目前亟需解决的一道难题。因此,对计算机视觉与自然语言处理交叉领域的研究成为学者们讨论的焦点。其中,视觉问答(Visual Question Answering,VQA)任务就是研究的热点话题之一。视觉问答任务是指给定一个自然语言问句和一幅图像,要求机器在对图像理解的基础上对问句做出回答。视觉问答涉及了语义理解、图像检测与识别、知识推理等相关技术,要求机器以人类的方式来理解图像,同时基于语言与用户进行交互,因此对提升机器人等人工智能系统的智能程度具有十分重要的作用。在过去的几年里,视觉问答得到了广泛的关注,因此涌现了大量的相关工作。通常来说,视觉问答任务需要同时处理图像的视觉信息和问句的文本信息,并以特征融合的方式将提取的视觉特征和文本特征映射到相同高维空间内,这需要视觉问答模型能正确解析出问句的语义,从而结合视觉特征给出正确的答案。对于复杂的问句,由于语言歧义现象的存在,现有的模型往往对文本信息的捕捉产生偏差,这导致现有的VQA系统难以捕捉问句的真实含义。当答案错误的时候,人类可以尝试以其他多种方式理解问句,从而得出不同的答案。受此启发,本文提出了一种基于yes/no反馈的视觉问答方法,具体过程如下:本文的方法通过yes/no的反馈机制判断模型第一次得出答案的正误,当用户给出的反馈信息为no时,本文将重新解析该问句,通过生成多种消歧后的新问句,产生不同的候选答案。然后输出最高置信度的答案作为最终结果。本文在两个基准数据集CLEVR和CLEVR-Co Gen T上将本文的方法与现有方法进行了比较。在CLEVR数据集上,本文方法的精确度接近100%。在CLEVRCo Gen T数据集上,本文的方法精确度也比现有方法高21%。