基于多模态查询的图像检索研究——以时尚领域为例

来源 :山东大学 | 被引量 : 0次 | 上传用户:shengbangcl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像检索任务一直都是信息技术各领域的研究热点。传统的图像检索系统主要是基于单一模态的查询条件进行检索的,例如使用单一的文本或者图像来表达检索意图。但是在很多情况下,只使用单一模态的查询条件无法充分表达用户的检索需求,由此,基于多模态查询的图像检索这一新兴任务应运而生。相比于传统的图像检索任务,基于多模态查询的图像检索的查询条件为多模态形式的,其设定为包括一张参考图像以及一段修改文本。用户可通过修改文本对参考图像进行一定程度的修改,从而更加方便准确地进行目标图像的检索。该任务具有广阔的应用前景,目前最具潜力的是在时尚领域内的应用。因此,在本文中,我们以时尚领域为例对该任务展开研究。基于多模态查询的图像检索任务的关键在于对参考图像和修改文本进行高效的多模态组合,进而进行目标图像的检索。现有的先驱工作关注于只利用参考图像的局部特征或全局特征进行多模态组合,虽然也取得了一定的成果,但是他们忽略了修改文本中的修改要求是十分多样的,包括具体的属性修改(如将袖子改为长袖等),以及抽象的视觉特性修改(如更加高雅的上衣等)。本文认为对于具体的属性修改,利用参考图像的局部特征进行多模态组合更加合适。而对于抽象的视觉特性修改,则使用参考图像的全局特征进行多模态组合会取得更优的结果。现有的工作只利用局部特征或全局特征无法处理该任务中修改文本所包含的多样的修改需求,因而会导致次优的结果。据此,本文提出了一种综合利用局部和全局特征进行多模态查询的图像检索模型(模型简称为CLVC-Net),用以解决基于多模态查询的图像检索任务。本文所设计的CLVC-Net模型的核心组件为两个多模态组合模块,分别为细粒度局部多模态组合模块,以及细粒度全局多模态组合模块,致力于分别从局部和全局的角度对参考图像与修改文本进行多模态组合。具体地,每个模块内部首先设计了注意力机制进行细粒度的图像与文本的语义对齐,之后使用基于仿射变换的多模态组合操作得到多模态组合特征。此外,我们还设计了互学习增强模块,促使两个多模态组合模块之间相互蒸馏知识,彼此促进模型的效果。我们在三个真实世界的时尚数据集上进行了充分的实验,实验结果证明了本文所提方法的可行性与有效性。
其他文献
这些年随着经济的日益发展,人民的生活水平得到到了极大的提高,大家在享受生活的同时,也会有意无意的对环境造成污染。此外,一些产业为了保持经济增长速度,也不惜以牺牲环境为代价,这些都对我们本就脆弱的生态环境造成了极大地打击。当大自然向我们展开疯狂的报复后,人们逐渐意识到毁坏生态来发展经济是一种短见的行为,所以最近轰轰烈烈的喊出了保护环境,绿色发展的口号,所以为了响应这一号召,环境民事公益诉讼制度便应运
学位
政企合作模式是我国在公共领域建设中,政府与社会资本以平等的方式订立合同,共同建设公共基础设施的模式。国家通过发布一系列支持性政策文件,大力推动政企合作模式发展。实践中资产证券化也开始与政企合作项目结合助力其发展。本文的核心观点为:政企合作项目资产证券化的法律风险点为基础资产;基础资产的三类标准及特许经营权的不适格性;收益权适格且属于宣言信托;宣言信托与类似制度相比具有不可替代性;宣言信托的构建有利
学位
随着经济的高速发展与中国入世后市场的不断开拓,群体性证券纠纷越来越多,传统一对一的诉讼模式在应对为数众多的小额纠纷上已“力不从心”。在这种情况下,群体性证券纠纷本身的复杂程度和专业性,以及所涉人员的多样化,使得代表人诉讼制度的粗疏逐渐显露出来,如何公正、有效地解决群体性证券纠纷,保护投资者权益的问题被提上日程。在深入分析域外经验并结合我国实际情况后,上海金融法院于2019年1月出台了证券纠纷示范判
学位
物联网技术在军事领域内的应用不断拓展,体系试验工作是推进物联网技术军事应用的重要手段,当前,国内外都在大力创新发展体系试验工作。借鉴国内外装备体系试验相关理论和实践经验,提出军事物联网体系试验概念,明确了军事物联网体系试验方案和试验基本流程,梳理总结了军事物联网体系试验技术需求,初步建立了试验指标,并以战场伤员救护物联网体系试验案例进行说明。以期为提升军事物联网体系试验设计规划能力,推动试验组织实
期刊
证券市场信息型操纵市场行为是近年来颇受证券监管机构以及学者关注的信息类证券违法犯罪行为。各国法律均以信息型操纵行为可能或者已经对证券市场造成的严重危害为由,明确规定禁止和从严惩处之。亦因信息型操纵证券市场行为对证券市场的危害性之严重,在许多国家,信息型操纵被视为一种刑事犯罪进行规制。我国证券市场上的信息型操纵行为更是因为其危害之严重,屡禁不止,甚至被称为是“操作市”。因此,20世纪90年代我国开始
学位
中国经济的发展在改革开放之后,变得非常的迅猛,但是环境问题也随之变得愈加严重,成为多方关注的问题。通过环境侵权责任制度,纯生态环境损害没有办法获得赔偿,但是对人类社会发展来说,生态环境意义重大,事关可持续发展,环境法保护的法益具有公益性,这一点可以通过对纯生态环境保护来体现。在生态环境损害救济中,传统环境侵权责任制度显得非常乏力。因此生态环境损害赔偿制度应运而生,寻求对救济环境公共利益损害进行完美
学位
为了回应我国反腐败工作的需求,更及时有效的进行“追逃追赃”,2012年我国《刑事诉讼法》设立了特别没收程序,2018年又增设了刑事缺席审判程序。尽管特别没收程序是仅对“物”的诉讼,而缺席审判程序是对“人和物”的诉讼,二者立法目的、程序性质相似,会出现程序竞合的情形,但我国《刑事诉讼法》依然选择继续保留特别没收程序。两种程序各自发挥制度优势,可以为追逃追赃构建更为完备的法律体系,但二者并存也带来了司
学位
非对称体细胞杂交是一种有效的作物育种方法。本实验室前期通过该方法创制了小麦渐渗系,并选育了小麦品种山融3号(SR3)。小麦渐渗系基因组中渗入的少量外源染色质片段,产生基因组冲击,诱导了全基因组水平的遗传变异。然而,遗传变异是否随机发生、遭受选择压力、引起同义密码子偏好性的改变等遗传问题,有待深入研究。本论文针对这些问题,利用SR3及其亲本普通小麦济南177(JN177)的表达序列标签序列,初步分析
学位
近年来,数字制造技术快速发展,尤其是DLP(Digital Light Processing,缩写为DLP)等高精度制造技术的产生,使得人们能够在单材料的范畴内,通过更小的尺度内,制造出更加复杂的几何结构,来获取宏观上具有不同物理性质的材料,这种宏观性质与组成成分性质不相同的材料,我们称之为超材料。同时不同材料组合的联合制造可以进一步消除传统单材料打印的不足与局限,使我们能够制造兼具多种材料优点的
学位
生态环境损害赔偿诉讼是指针对生态环境、自然资源本身的纯粹性损害,由作为赔偿权利人的行政机关,与造成生态环境损害的赔偿义务人经过必要的前置磋商程序,在磋商未达成一致或者无法进行磋商的情形之下,作为原告向人民法院提起的一种索赔诉讼。环境民事公益诉讼是指针对已经损害社会公共利益或者具有损害社会公共利益重大风险的污染环境、破坏生态行为,由享有优位诉权的法定机关或社会组织提起,检察机关享有补位诉权的公益性民
学位