【摘 要】
:
通过图像中的对象关系检测可挖掘图像更加细粒度的特征和提供结构化的图像内容表示,增强复杂场景下图像检索的效果。本文针对图像中的对象关系提取以及将其应用在图像检索领域进行了研究,通过提取图像中对象和对象之间的特征构建视觉关系预测模型,采用知识增强的方法来处理对象关系中固有的长尾分布(Long-tailed Distribution)问题。图像检索根据三元组对象关系组成的场景图(Scene Graph)
论文部分内容阅读
通过图像中的对象关系检测可挖掘图像更加细粒度的特征和提供结构化的图像内容表示,增强复杂场景下图像检索的效果。本文针对图像中的对象关系提取以及将其应用在图像检索领域进行了研究,通过提取图像中对象和对象之间的特征构建视觉关系预测模型,采用知识增强的方法来处理对象关系中固有的长尾分布(Long-tailed Distribution)问题。图像检索根据三元组对象关系组成的场景图(Scene Graph)提出了基于硬匹配(hard matching)和软匹配(soft matching)两种匹配方式,提高复杂场景中的图像检索能力。具体工作包括:(1)对象特征表示与先验知识表示融合学习:提出了将对象特征和先验知识表示联合建模的方法来预测对象之间的关系。通过目标检测模型来定位图像中的实体对象,并从中提取对象的视觉特征、对象间的位置特征和类别特征构建视觉关系预测模型。通过符号表示学习将文本知识库(Wikipedia、图像描述、场景图等)中的符号向量化,得到对象和关系的符号向量并通过映射函数构建对象关系的语义相关性,通过先验知识表示学习拉近相似类型关系的距离,提高预测的准确率以及解决对象关系长尾分布造成的Zero-shot或Few-shot问题。(2)基于场景图的图像检索:提出基于对象关系组成的场景图(Scene Graph)进行图像检索的方法,解决复杂环境场景下的图像检索问题,同时提供了以图搜图和以文本搜图两种检索方式,提出了基于硬匹配(hard matching)和软匹配(soft matching)的两种匹配方式,来提高场景图的语义匹配能力。(3)图像检索系统原型实现与实现验证:在检索应用中部署对象关系预测模型,实现图像检索的系统原型,并在视觉对象关系数据集VRD和Visual Genome上验证对象关系预测模型的准确率和应用在图像检索领域的有效性。实验表明对象特征表示构建的视觉关系预测模型能够很好的捕捉对象之间的关系,通过先验知识增强的方式使视觉模型预测结果得到了显著的提升,在VRD和Visual Genome数据集上的Recall值分别提高了约21.3%,16.8%。将对象关系组成场景图应用在图像检索领域相较于直接提取整张图像特征用于检索的Median Rank值从20提升到了6。
其他文献
淀粉是由葡萄糖单体单元以糖苦键连接而成的高聚物,是地球上含量最为丰富的聚合物之一。根据糖苷键的区别,淀粉包含两种重要组分:直链淀粉(线性α-1,4-键连接的葡聚糖)和支链
航线可更换单元(LRU)的设计思想是以备件成本抵消停场时间,在民机维修中得到广泛使用的同时,却因固化的维修处置流程,未得到足够重视。针对具体的运营情况不同,可能存在使用L
烟粉虱Bemisia tabaci是对我国农业生产造成极大危害的入侵害虫,其抗药性的增加以及人们对环境健康的需求使得生物防治成为烟粉虱持续治理的重要途径。浅黄恩蚜小蜂Encarsia
随着战场环境信息的复杂性和多维性不断提升,搭载高精度光电探测装置的光电稳定平台被应用在各式装备系统上,用于实现对战场环境侦察、目标识别及指令跟踪等任务。差动式柔索
方柱广泛应用于各种建筑、桥梁等结构,是工程领域最为常见的柱体形式之一,由于其断面形式简单且分离点位置确定,一直是计算流体动力学的主要研究对象,方柱绕流问题也是钝体绕
篮球运动在我国较为普及,参与人数较多,上海市有着独特的篮球文化氛围,有着良好的群众基础。上海市高校普遍采用篮球选项课的形式上课,那么该课程发展情况如何?存在哪些问题?该研究是具有重要意义的。本文采用了文献资料法、访谈法、问卷调查法及数理统计法等研究方法,以上海市6所高校的篮球选项课情况及影响因素作为研究对象,从开设篮球选项课的学校情况、学生情况、教师情况、教学情况及影响因素等五个方面进行了系统的分
形状信息是物体最直观、重要的描述,其表示与识别是计算机视觉领域的基本问题。然而真实世界的形状往往存在各种变化,包括噪声、形状变形、遮挡和同类形状间的差异等。这些变化给传统基于手工特征如形状上下文、形状签名等的形状表示和识别方法带来很大的挑战。近年来,随着深度学习相关技术的突破性发展及广泛应用,利用深度网络来进行形状的表示及识别成为一个新兴研究内容。不过,在二维形状相关的应用场景中,深度网络的发展目
目前,国内的城市化进程正迅猛发展,随之城市交通的需求量也急剧增加,轨道交通正借助它自身具有的迅速、安全、便捷、环保以及运量大等特点得到了众多大中城市的青睐,而城市轨
洪范八政,食为政首,粮食安全一直是我国治国安邦的头等大事。地下仓因其具有隐蔽、坚固、防火、避光、密闭低温、占地面积少等优点而成为绿色储粮的理想仓型,但目前因为地下
复合材料蜂窝结构因具有金属结构不可比拟的优点,已愈发广泛地应用于飞机雷达罩、操纵舵面和翼肋等次承力结构处。但鉴于蜂窝结构特殊的材料特性和构造特点,其结构的性能对湿