面向大规模跨模态检索的哈希方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:longlivewebdynpro
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近来,随着信息技术的高速发展,各行各业的数据积累都呈爆炸式增长,这意味着我们已经进入了大数据时代。大数据主要体现在两方面:数据量和数据维度的不断增长以及数据类型的日益增多。大数据在各行各业都有着广泛的应用,已经成为国家重点战略资源。存储,管理,分析大数据已经成为了学术界和工业界的热点话题,大数据检索也成为一个主要问题。为了有效利用大数据,机器学习技术至关重要。由于数据量和数据维度的不断增长,例如,微信和QQ光是活跃用户就有8亿多,2017年淘宝双十一成交额达到1682亿元,在大数据检索中进行精确最近邻搜索已经难以实现,于是近似最近邻搜索在大数据检索中扮演起重要的角色。近似最近邻搜索通过比较数据间的相似度返回与输入数据最相似的结果集。这一方法在时间复杂度低的同时能保持相对准确的检索精度。近似最近邻搜索在很多应用中起到关键作用,例如跨模态检索。随着数据类型的日益增多,在很多场景中,一个对象存在着多种模态,如图片,文本等。例如,新浪微博上仅仅带有文字描述的图片就有36亿之多。跨模态检索是为了找出不同模态间的相关性,从而实现用一种模态检索出与其相似的另一模态。跨模态检索不但需要注意模态间的相关性,同时也需要保证模态内的相关性。随着对跨模态检索的研究与日俱增,跨模态检索也成为一个新兴的问题。在大数据检索中,由于哈希方法存储容量低,检索速度快,基于哈希的近似最近邻搜索方法得到广泛关注。哈希方法把数据的原始特征映射到低维的二进制空间,即海明空间,并尽可能多地保留数据信息,例如局部结构,语义信息等。数据间的相似度可以通过计算其哈希码的海明距离快速获得。哈希方法不但能够降低数据存储和通讯开销,还能降低数据维度,显著提升检索效率。此外,基于哈希的跨模态检索方法也被提出来执行不同模态间的高效搜索。有些方法通过对目标函数进行松弛,如近似替代;有些方法分为两步分别获得哈希函数跟哈希码;有些方法使用特别复杂的目标函数。这些方法有的会造成大量的信息损失,有的训练速度会非常慢。此外,跨模态检索还需要考虑一些其他问题。例如,有些方法不能充分地利用标签信息,而标签信息是数据信息中最为有用的一部分;有的方法在优化过程中松弛二进制限制,然后将输出的连续值简单地二值化,从而产生大量量化误差。考虑到上述问题,本文提出了一个新的跨模态哈希方法——监督的跨模态无松弛哈希,它不但能充分利用标签信息,还能无松弛地产生最终的哈希码。该方法通过将不同模态特征映射到一个低维同构空间以保持其模态间的相似性,并加入标签信息保持其模态内的相似性,同时学习出一个正交旋转矩阵以最小化量化误差并在线性时间内学习出最终的哈希码。本文同时提出了一个迭代算法来解决目标函数的优化问题。上文提到的方法将在三个数据集上进行实验,包括自我验证实验和与其它跨模态哈希方法进行对比实验,实验结果表明本文提出的监督跨模态无松弛哈希方法在跨模态搜索任务中与其它方法相比,具有明显的效果提升。
其他文献
近年来随着人们对智能计算、物联网与人机交互等技术研究的日益深入,情景感知技术得到了快速发展。情景感知计算的目标在于实现“无时不在而又无处不在”地主动为用户提供恰
随着海量数据的出现,数据挖掘成为目前最有应用价值的领域之一,数据挖掘技术从这些大量的无结构的数据中提取有效的隐含价值的信息,从而提高决策效率。不平衡数据分类是数据
随着信息革命的不断推进,网络成为人们生活中不可或缺的一部分。敏感信息在网络上的安全传输问题关系着个人、企业乃至国家的发展。安全协议以密码算法为基础在互联网络中为
古籍汉字数量多,结构复杂,现有的文字图像检索方法在应用于古籍汉字图像时难以取得理想的结果。为了更好地辅助从事古籍汉字研究的专家学者以更高的效率从事研究工作,本文根
P vs.NP问题一直是理论计算机科学领域中最为复杂的一个问题,已经被列为世界七大数学难题之首。P vs.NP问题已经吸引了世界上许多学者对其研究,但遗憾的是,仍然未获得被广泛
党的十八大以来,习近平总书记高度重视扶贫工作。党的第十八届五中全会从实现全面小康的视角出发,指出我国2020年在现行标准下实现全部贫困人口脱贫。农民工问题是关乎我国的
近年来,随着移动通信技术的不断发展,移动互联网技术已成为通信和互联网领域最值得关注的技术之一,我国的移动互联网通信不断发展,通信技术也在飞速发展。原有的GSM、GPRS技
光纤法布里-珀罗传感器是一种体积小、结构简单、成本低、测量精度高、检测范围大的光纤传感器,易于产品化,已经被广泛用于民用工程、航空航天等领域的应变、温度、压力等物
近年来,由于无标签数据易于获得,对其分析的需求越来越高。无监督聚类算法一直是面向无标签数据的机器学习算法研究和实际应用的热点。多核学习在聚类算法中有重要影响力,针
随着信息技术的快速发展,各种行业应用中对多源异构数据的处理量飞速增长,如何对其进行高效的整合是是数据应用中的核心问题。然而,现有的数据整合工具在扩展性、性能、功能