基于相似性保持的跨模态哈希检索算法研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:zz1976aa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据呈现数据规模大,数据模态形式多样等特点,对信息检索领域提出新的挑战。面对海量高维的多模态数据,如何快速准确对不同模态进行检索作为一个热点问题引起了很多研究者的关注。跨模态哈希(cross-modal hashing)方法通过构建模型将不同模态的异构数据映射成为同构的哈希码以解决不同模态之间相互检索的问题。该方法具有低存储开销和快速检索速度等特点,适用于大规模跨模态检索。大量跨模态哈希方法不断涌现,然而它们还存在一些不足:目前所存在的当前大多数方法均是考虑保持基于特征的模态内相似性,对于语义模态间相似性的保持未做处理而被忽视。利用语义监督信息的方法大多将语义标签转换为成对相似性矩阵降低了标签类别属性具有的判别能力。此外,在对哈希码进行优化求解时,大多数方法都是通过直接放松离散约束获得哈希码,这会导致产生较大的量化损失进而使得哈希码的不准确。针对以上所存在的问题,提出了两种新的跨模态哈希算法。针对基于相似性保持的问题,提出了有监督的离散锚图跨模态检索哈希方法(Supervised Discrete Anchor Graph Cross-Modal Retrieval Hashing,SDGCH)。它使用语义类别信息和图方法来学习统一的哈希码。构造图模型时,引入锚点,降低了构建图的拉普拉斯矩阵的复杂度。在锚图方法基础上,同时利用语义标签投影保持了基于语义信息的模态间的相似性。针对哈希码的离散性问题,使用两种方法对其进行优化。一种为使用交替最大化的方法对哈希码按位离散求解,另一种为引入中间变量对哈希码进行直接离散求解。采用这两种离散求解框架提高了检索精度和效率。针对相似性保持和标签判别性问题,提出了标签一致性局部线性嵌入的跨模态哈希算法(Label Consistent Locally Linear Embedding based Cross-modal Hashing,LCLCH)。在将原始数据映射为哈希码的过程中使用局部线性嵌入(Locally Linear Embedding)算法保持原始数据的非线性流形结构,并根据语义标签来构建共同子空间进而通过量化转成汉明空间。因此,它不仅维持了异构模态数据的潜在模态内相关性,而且还保持了标签的一致性。进一步确保哈希码的有效性并减少放松离散约束带来的量化损失,LCLCH结合迭代量化方法直接获得离散的二进制哈希码。在单标签Wiki数据集和多标签MIRFlickr和NUS-WIDE数据集上分别进行了图像文本模态的互检索,通过对比实验验证了方法的可行性。
其他文献
由于汉字发音与正字法之间的不对应性,无法从汉字本身获得发音,这给初级阶段留学生的汉语阅读带来了极大的困难。多年以来,拼音作为汉字的拼写工具,在初级汉语教材中,使用拼音和汉字同时呈现的文本形式帮助留学生识字识词,理解文本的意义,随着留学生汉语水平的提高,再逐步在文本中取消拼音。但拼音在什么学习阶段对留学生阅读的作用最佳,留学生何时能摆脱对拼音的依赖,目前尚无相关的实证研究。初级教材中汉字的文本形式也
雅克马利坦说“人在精神上的创造性是艺术活动本体论的根基”[1]。不管是创作者还是观者对于想象力的发挥是尤为重要的。每一位创作者的作品都是由感性情感构建而成,作品被创造后依然是人对于审美意象投射的一种载体。但是因为艺术的不可复制性,创作者在创造时时常遇到瓶颈,缺少更多的设计思维去给予观者新鲜感。而对于观者而言,处于信息爆炸的时代,很难从这种复制麻木的信息中寻找到真正深入人心的作品,看到作品也无法获得
移动终端非常普遍的应用于我们的日常生活中,极大的满足了人们的需求,但是在畅享这种极大便利的同时,我们对它的依赖程度越来越深,它也正在潜移默化的影响着我们的生活活动形
随着网络信息技术的快速发展,如何保护用户信息安全,成为了一个热点话题,用户身份安全认证技术应用越来越广泛,并且被广泛应用到各行各业。身份认证系统是一个用来保护用户信息安全的综合系统,目前身份认证系统中有三类认证方式,有关于信任物体的认证、关于生物特征识别的认证、关于信息秘密的认证。其中基于生物特征的身份认证技术越来越受到广大科研学者的重视,在众多生物特征中,虹膜识别身份认证技术由于虹膜自身的唯一性
最大频繁项集挖掘是数据挖掘重要研究方向,它以频繁项集簇的最简集合形式反映事务数据集项间的关联关系,具有重要的理论研究价值与应用前景。然而,大多数现有最大频繁项集挖掘算法更适于稠密数据集。但实际应用中,存在着大量的事务模式差异度大、项分布零散的稀疏数据集,设计适于稀疏数据集的最大频繁项集挖掘算法具有重要意义。本文从数据存储结构、算法搜索方式和优化剪枝策略等层面对经典的最大频繁项集挖掘算法进行了讨论与
学位
云在热带天气和气候中起着重要作用,对热带辐射平衡和大气水循环有重要影响。云的分布对其他热带变量也有影响,云与热带海表温度(或海表面温度的梯度)、相对湿度、温度等变量
“财宝神”是流传在河州北乡地区汉族和土族群众中的一种走唱类说唱音乐,属甘肃省非物质文化遗产,具有浓郁的民俗文化风情。在当地人们心中,“财宝神”是荣登大雅之堂的“阳春白雪”,其高亢激越的唱词,有诗般的韵味,又具方言化特征,既接地气,又不失高雅,备受当地群众的喜爱。“财宝神”的表演,突出的是“送财宝”“贺太平”这一主题,以群众喜闻乐见的形式,装扮形象的角色,通过歌声来表达对幸福生活的憧憬和向往。“财宝
人的情感是人类特有的一种神秘且复杂的内在特征,也一直被认为是人与人工智能最本质的区别之一。人脸表情作为人类情感的重要元素之一,通过对它的自动识别的研究有助于弥补人工智能在理解人类情感方面的不足。近几年来对人脸表情识别的研究,受到越来越多的关注。表情识别的难点在于不同个体的脸部特征之间存在着差异,每个人对表情的表现方式也不尽相同,并且一种表情中可能同时糅合了多种情绪的表达,有时连人类也难以完全正确理
对话系统是自然语言处理的研究热点之一,其研究任务包括对话生成、对话匹配、对话状态跟踪和对话动作识别等。目前有关研究集中在各个任务的模型性能提升上,然而不同的任务使用的基础编码器仍然以循环神经网络(Recurrent Neural Network,RNN)或卷积神经网络(Convolutional Neural Networks,CNN)为主。近期出现的Transformer模型能够捕获句子内部词汇