随着人工智能,深度学习越来越多的引人注目,图文匹配就是其中的一项任务。图文匹配任务是指给定一个图像和众多文本内容,要求机器在对图像理解的基础上对图像和文本进行匹配,选出和图片最接近的一段文字。图文匹配涉及语义理解、图像检测与识别、知识推理等相关技术,要求机器以人类的方式来理解图像,这也是人们对人工智能的期望。因此对提升机器人等人工智能系统的智能程度具有十分重要的作用。通常来说,图文匹配任务需要同时处理图像的视觉信息和文本信息,并以特征融合的方式将提取的视觉特征和文本特征映射到相同高维空间内,这需要图文匹配模型能正确解析出文本的语义,从而结合视觉特征给出正确的答案。对于复杂的图像,由于图像复杂度各不相同,现有的模型往往对图像中物体之间的关系的捕捉产生偏差,这导致现有的图文匹配模型难以推断图像中真实的关系。本文的工作创新点在于加入了常识判断推理模块,把图像各部分区分开并以此建立图像之间的关系,再根据常识推理来判断关系是否可靠,加强了推理结果的合理性和准确性。还添加了排序优化模块,为结果提供了多样性,在模型失败的情况下提供了一定的应对方案。本文在两个基准数据集MS COCO和Flickr30k上将本文的方法与现有方法进行了比较。在MS COCO数据集上,本文方法与最新的成果相比,精度平均提高了1.3%左右,在flickr30k数据集上,本文的方法精度也比现有方法高1.5%。实验证明本文的方法有效提高了准确度,可以有效提高其实用性。