由于计算机视觉和自然语言处理在近年来的快速发展,其衍生任务及交叉任务也成了目前的研究热点。视觉问答任务则是其中的典型之一,其目标在于依靠指定的图像及其对应的自然语言问题来预测答案。然而大多数现存的视觉问答模型在回答问题时强烈依赖于语言偏见,即模型往往倾向于拟合训练时出现过的问题和答案对。当训练数据和测试数据的答案分布不同时,视觉问答模型的表现就会强烈下降。这种行为使得研究者们无法判断模型性能的提升是由于网络结构的优化还是因为语言偏见的影响,同时也导致模型很难应用于真实的场景中。目前这个任务的主要挑战是:要求视觉问答模型充分理解问题和图像的内容,拉进视觉和语言两个模态间的距离,以及在训练样本存在偏见的情况下,克服语言偏见对其产生的不利影响,以根据图像内容预测消除偏见后的答案。现存的集成模型的方法聚焦于整合多个消除偏见的模块来缓解语言偏见,却牺牲了模型回答问题的能力。另外,现有的平衡数据的方法在生成训练数据时会引入新的偏见信息,无法从根本上消除偏见的影响。为了解决上述问题,本文提出了一个抑制偏见样本的视觉问答模型。该模型由两个模块组成,分别是数据分类模块和偏见惩罚模块。数据分类模块利用语言偏见的表现形式和语义空间的相似性,将训练样本分为偏见样本与无偏见样本;偏见惩罚模块通过禁止偏见样本对问题表示的反向传播来强制模型学习无偏见的特征空间,然后利用设计的相似度损失函数来动态的改变得到的损失,降低偏见样本的作用。本文通过在VQA数据集、VQA-CP数据集和VQA-CE数据集上进行实验,并通过具体的实例和统计分析与当前的基准模型进行对比。结果表明,基于抑制偏见样本的视觉问答模型能够在不伤害模型回答问题能力的情况下,缓解语言偏见对模型的影响。不同于平衡数据的方法,采用抑制偏见样本的方法不会引入新的偏见信息。这些发现将为视觉问答中的语言偏见提供一定程度的解决思路,进一步推动这项任务的发展。