随着人工智能的发展,计算机视觉和自然语言处理交叉领域的研究逐渐引起科研工作者们的兴趣,指称表达理解(Referring Expression Comprehension,REC)就是其中之一。指称表达(Referring Expression)是指描述场景中某个特定物体的自然语言表达,例如“穿着蓝色衣服的人”、“在桌子上的苹果”等等。REC任务要求算法能够在给定的图像中定位指称表达所描述的物体。目前的REC方法都假设指称表达所描述的物体一定存在于图像中,没有判断指称表达与图像是否匹配。然而,在实际应用场景中该假设是不成立的。例如,有视力障碍的用户命令他的REC机器人“请把桌上的笔记本电脑拿给我”,但实际在桌子上的是其他物体。因此,若不匹配的指称表达与图像作为目前REC方法的输入,则其会输出错误的定位结果。针对上述问题,本文的主要研究内容如下:本文在第三章和第四章提出了模块化REC方法来解决上述问题,模块化REC方法能够判断指称表达与图像是否匹配,如果判断指称表达与图像匹配则在图像中定位指称表达所描述的物体,如果判断指称表达与图像失配则生成文本反馈来解释失配的具体原因。模块化REC方法分为四个模块分别是表达解析模块、实体检测模块、关系检测模块和匹配检测模块。表达解析模块能够解析出指称表达中的关键信息主语、宾语和关系。实体检测模块能够检测图像中存在的实体并组成实体字典。关系检测模块能够检测图像中两个实体之间的视觉关系。匹配检测模块根据上述模块所获得的信息来判断指称表达与图像的匹配性并输出文本反馈或者定位指称表达所描述的物体。本文在第五章基于公共数据集Ref COCO+构建了NP-Ref COCO+数据集,并通过实验分析了该数据集。本文在NP-Ref COCO+数据集上设计实验并评价了本文方法的表现,实验结果表明本文方法能够有效判断指称表达与图像的匹配性和定位指称表达所描述的物体。