【摘 要】
:
手绘草图的跨模态检索任务是近年来比较热门的研究领域,本文致力于研究手绘草图和自然图片之间的细粒度跨模态检索问题,即基于手绘草图的图像细粒度检索,其中用于查询的草图是一种抽象且令人感到模棱两可的数据,而被检索的目标则是常见的自然图片数据集,这两个模态数据之间存在模态域差异。这一任务最关键的问题是在两个模态数据之间构建一个桥梁来消除域差异,具体的做法就是分别从草图和自然图片中提取视觉特征并将它们投射一
论文部分内容阅读
手绘草图的跨模态检索任务是近年来比较热门的研究领域,本文致力于研究手绘草图和自然图片之间的细粒度跨模态检索问题,即基于手绘草图的图像细粒度检索,其中用于查询的草图是一种抽象且令人感到模棱两可的数据,而被检索的目标则是常见的自然图片数据集,这两个模态数据之间存在模态域差异。这一任务最关键的问题是在两个模态数据之间构建一个桥梁来消除域差异,具体的做法就是分别从草图和自然图片中提取视觉特征并将它们投射一个共同的映射空间中。那么,基于手绘草图的图像细粒度检索任务的最主要的两个挑战就是(1)从草图和自然图片中提取有效的视觉特征信息,而草图的抽象性就给这一任务带来了很大的挑战;(2)得到提取出来的视觉特征,接下来就是需要构建一个适合跨模态信息检索的共同映射空间。本文致力于解决以上的两个挑战性问题,通过分析手绘草图的特征和跨模态检索任务的难点,提出了相应的解决方法:(1)本文通过对草图数据的特点进行分析,发现草图具有抽象性和稀疏性,针对这两个特性,本文通过引入注意力机制来使模型可以提取出更加有效的视觉特征信息;(2)通过进一步研究发现,以往的模型只关注于模型最后一层全连接层提取出来的特征而忽略了具有丰富低层次视觉特征信息的中间层特征,所以通过融合中间层和最后一层全连接层的特征信息来构建共同映射空间。为了可以更好地获取中间层特征信息,本文提出了一个多重三元组排序模型,通过在中间层引入了一个辅助监督损失函数来获取更有效的特征信息;(3)本文还提出了一种新的距离度量公式来进一步提升模型性能。本文在QMUL-Shoe、QMUL-Chair、QMUL-Handbag 三个细粒度草图-自然图片检索公开数据集上进行了大量的实验,实验结果表明本文的方法相比于当前最先进的一些方法取得了更优的性能,并且对比实验的结果也证明了本文模型各个模块性能的有效性。
其他文献
金融是现代经济的核心,健全的金融体系对提高资源配置的效率、有效调控宏观经济运行,发挥着极其重要的作用.东南亚金融危机爆发的教训证明,金融风险容易转化为政府风险,防范
主要研究徐淮平原农田防护林带林木根系分布特征,结论如下:①在道路和沟坡上,随着离根株距离的增加,根系生物量和长度急剧下降;根株附近大根所占比率较高,而较远处细根所占比率较高
鸡蛋土豆饼文图/王大厨的美食日记用料:土豆、生粉、青椒、鸡蛋、胡萝卜。做法:1.将土豆、胡萝卜、青椒切成丝备用;2.将鸡蛋打散,放入适量盐和胡椒粉;3.起锅烧油,将土豆丝、
一说自豪,有人可能因为自己腰缠万贯挥金如土感到自豪,也有人为自己有一个地位显赫的父亲而自豪.而我,一个地道的农民子女,一名普普通通的统计工作者,既没有腰缠万贯的家庭,
身为长三角地区的人,笔者一直不太理解南方人为什么喜欢嚼槟榔,尤其是长期嚼槟榔牙齿黑黑的,极不美观。后来笔者问了广东和海南的同学才知道,嚼槟榔可以助消化,可以驱蛔虫,可
今年以来,国家出台了新一轮房地产宏观调控措施,旨在为处于高温的房市制冷,随着调控措施的逐步贯彻实施,究竟对攀枝花市房地产市场带来怎样的影响?本文通过今年1~7月的统计数
可控性大型火电机组实现协调控制(CCS)的基础和必要条件。现通过分析和研究发电厂热工调节系统的可控性。指出了发电厂主、辅助机在可控上所存在的问题和不足。并从几个方面,提出和
一、宣汉县人才资源的现状近来来,宣汉县大力实施"人才建县,人才强县"的战略,取得了较大成绩.目前,宣汉县人才资源总量为42055人,其中,硕士研究生6人、本科生1114人、大专生4
位于大糊之滨的锡山市林洲干燥机厂的前身是一家规模很小的农机具修造厂,当时仅有十几名工人,两台老式车床,生产手摇油泵和弹簧,年产值10多万元.1980年根据科技信息获知,国内