基于注意力网络的度量学习研究及应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:xbh0820
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当下,人们对于多媒体数据的需求日益增加,对多媒体数据精准、有效的检索也随之成为重要的研究方向。传统的基于关键词匹配的检索方法较为粗略,且随着互联网数据的爆发式增加,为数据人为添加标签也变得成本极高,难以实现。而基于内容的多媒体数据检索方法因为其便利性、准确性等优点,被越来越多地采用、研究。该系统的要点在于对输入数据进行内容分析,现在大多是采用深度神经网络对数据进行特征提取来实现。本文要解决的主要问题就是多媒体数据检索,方法是利用度量学习训练神经网络作为映射函数,映射多媒体数据到公共特征空间中,且具有相似内容的样本在空间中距离接近。现有的基于深度学习的检索模型多是将样本直接输入神经网络提取特征,但是通常来说,输入样本的不同部分并不都是有利于检索的,如图像的背景和遮挡。如何识别并提取输入样本的重要部分,免受噪声区域的影响,是所有检索系统面临的挑战。本文我们采用注意力模型来提升特征提取的效果。具体而言,本文构建了两个基于神经网络利用特征度量关系进行检索的系统:基于注意力的服装图像检索系统,能很好地完成服装图像的同域和跨域检索任务;基于通用性注意力的跨模态检索系统,主要解决图像和文本两种模态间的跨模态检索问题。我们构建了一套基于注意力网络的高精度服装检索系统。该系统采用一个视觉注意模型从服装图像中提取注意力图并结合到主网络的中间特征图,削弱特征图中的噪声区域特征,强化输出特征。我们提出Impdrop连接方式来将注意力模型与主网络连接成为一套端对端的网络结构,Impdrop连接通过为注意力模型引入随机性的方式提升系统的训练效果。在不同数据集上的多组实验证明了我们方法的有效性。我们在服务器上搭建了一个服装图像检索演示系统,该检索演示系统可以通过网址http://202.120.39.165:9998来访问。针对现在人们日趋增长的跨媒体检索需求,本文以图像和中文文本间的基于内容的检索任务为应用场景,提出了一套基于通用性注意力的跨模态检索模型。图像和中文文本属于不同的模态,为了解决不同模态媒体的“间隙”,我们为图像和中文文本设计了不同的映射网络,将两种媒体映射到同一个公共度量空间,并根据样本在空间中的距离进行检索。对于跨模态检索任务,我们还设计了一套基于长短期记忆网络的通用性注意力模型,能够自动检测输入样本中重要的区域并提高映射函数的效果。最后我们实现了该系统并在实验中验证了其有效性。
其他文献
比特币是目前最为成功的一种数字货币,其中最核心的技术就是实现去中心化的区块链技术。由于区块链中所有的交易信息都是透明的,对于许多追求数据隐私性与安全性的用户而言,
在辽东山区柞园、柞林进行多年定点调查柞树菌根真菌子实体种类资源,并对这些种类的子实体生长期和形态进行了观察,对孢子印进行显微观察,对孢子进行测微等,初步勘查到36种真
毋容置疑,我是《全球化》的粉丝,从2011年创刊之日起就是。五年来,《全球化》于公于私均对我帮助很大——对《红旗文摘》而言,每期《全球化》都有许多美不胜收的精品力作;对我本人
分析了钢包浇注工作衬剥皮套浇修砌工艺的主要技术缺陷,介绍了浇注工作衬喷补续衬焊接技术的机制、工艺流程、技术要求及试验应用效果。通过对比分析,钢包浇注工作衬采用喷补续
目的:探究健康教育和康复指导在乳腺癌术后中的应用效果。方法:选取2015年1月至2016年12月期间于本院就诊及接受乳腺癌手术治疗的50例患者作为研究对象,按照随机数字表法分为
近几年,翻转课堂逐渐成为课堂组织模式的一个热词,翻转课堂流行于各种类型学校、各门学科的教学实践。本文以技工院校数学课堂为例,通过在近两年的教学实践中进行试验对比,反
目的:乳腺癌是女性乳腺最常见的恶性肿瘤,在我国占全身恶性肿瘤的7%—8%,是外科较常见的恶性肿瘤之一。因此针对乳腺癌疾病的发生、发展中机体的各项免疫指标变化及病理生理改变
快节奏信息驱动的市场大环境使得商业智能成为了一项至关重要的需要尽快实施的系统,从而企业的管理层可以根据高质量的实时销售财务报告去分析快速发展的市场趋势及消费者潜
随着绿色城市的建设和发展,城市植被覆盖率呈大幅增长趋势,植物观赏逐步成为日常生活中的时尚活动,人们学习植物的兴趣也在逐步提升。伴随移动互联网技术的快速发展,植物科普类APP开始走进人们的视野。目前这些APP多采用拍照识别方式查询,但植物种类繁多,目前的识别种类和识别率还有较大差距;除此之外,当前的植物科普APP的查询方式较为单一,无法满足大众的需求。针对当前植物科普类产品中存在的问题,本文提出一套
基因支持着生命体的基本构造和性能,基因序列稳定性的维护是遗传信息完整传承和细胞生存的至关重要的条件,在DNA复制过程中复制叉的建立和其在染色体上移动的精确控制确保了