结合邻域知识的局部敏感哈希搜索方法

来源 :福建师范大学 | 被引量 : 0次 | 上传用户:jackmengxiaojing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G时代的到来,云计算、大数据、物联网系统所处理的数据正朝大规模、高维度的方向快速发展。但对大规模的高维数据进行近似最近邻搜索是一个“维度灾难”问题,已成为了许多领域的难题。由于相似性搜索被广泛应用于文本相似性搜索、基于内容的图像检索等应用领域的关键方法中,找到一种快速有效的高维数据搜索方法是非常迫切且有意义的工作。局部敏感哈希及其变种是解决大规模高维数据的近似最近邻搜索最有效的方法之一。因其搜索的时空复杂高效性及结果的精确有效性,已成为视觉领域和高维检索的研究热点。传统针对大规模高维数据的局部敏感哈希方法存在如下缺点:第一,许多局部敏感哈希算法依赖于数据结构及空间划分方式;第二,许多算法在投影过程中会产生大量的随机向量,增加了时空开销;第三,大数据时代融合学习的局部敏感哈希算法训练难度大,繁琐复杂。因此,如何快速和高效率的对各物联网系统产生的数据进行近似最近邻搜索已经成为一个巨大的挑战。针对以上问题,本文分析了局部敏感哈希各类算法的优缺点,在邻域粗糙集的基础上,提出了一种基于邻域知识的局部敏感哈希方法,同时结合基于克罗内克积的快速JL变换理论分析选择一种矩阵转换方式运用到近似最近邻搜索中,最后通过与其它算法对比,突显了本方法的优越性。本文的主要贡献如下:(1)针对高维数据稀疏、不一致等特点,本文结合邻域粗糙集中上下近似、正域负域等相关理论,构建了一种新的数据结构,充分挖掘数据的邻域知识,数据的邻域可以获得查询中的高精确率并使算法具有良好的普适性。(2)针对哈希索引搜索方法的不足,本文利用邻域构建查询索引,提出了一种基于邻域知识的局部敏感哈希搜索方法(Neighborhood-based Locality-Sensitive Hashing,NLSH),有效地拓展了局部敏感哈希的能力。且设计了算法实验,论证了算法的优越性。(3)针对各物联网系统产生的数据规模大、维度高的特点,本文充分运用基于克罗内克积的快速JL变换理论并选择一种合适的投影方式,将高维数据以极小的距离损失投影到低维空间中,降低了算法的复杂度并极大的优化了算法NLSH。
其他文献
在如今这样一个信息时代,由于人们对更加安全可靠的身份识别的需要日益增加,以生物特征识别技术研发生产的识别设备已经投入到社会各界使用。其中静脉识别技术是生物特征识别技术的一种,由于手掌静脉特征稳定、独特以及不易被盗取的特点,而且相较于指静脉与手背静脉,其结构更丰富。因此,手掌静脉识别技术在社会各个领域都有广大的应用价值。在前端获取掌静脉图像的过程中,由于外部因素(如采集设备限制、周围采集环境的影响)
现实世界中摄像头无处不在,对人类而言是不可或缺的器备。人类对其做了大量的研究:光学镜片、传感器构造、图像采集电路及图像处理算法等等,本课题所研究的是图像处理中的四带图像颜色校正。当镜头中加入IR-CUT的红外截止滤光片时,通用RGB传感器只能接收RGB光源,所采集的图像本课题称之为三带图像;当移除IR-CUT的红外截止滤光片时,通用RGB传感器能接收到RGB以及IR光源,所采集的图像本课题称之为四
随着智能时代的到来,与人工智能(Artificial Intelligence,AI)相关的计算机视觉技术得以蓬勃的发展,特别是目标检测与识别的研究和应用广泛运用于各个场景,如人脸支付、安防监控、无人驾驶以及“天眼”系统等等。同时伴随着5G商用元年的开启,让万物互联(Io T)与5G成为了一个不可分割的整体,其中边缘计算就是Io T技术发展中的重要一环,即在网络边缘测的智能网关上就近处理采集到的数
为了降低视频目标追踪场景中的干扰问题对算法精度产生的不利影响,本文基于光照变化、相似物干扰、外观变形、运动模糊、快速移动、背景模糊和遮挡等干扰场景下进行运动目标追踪算法研究。目前目标追踪领域算法主要分成判别法的孪生网络和生成法的相关滤波,故本文采用深度学习的孪生神经网络算法进行目标追踪的研究,并基于Siamese-FC经典孪生网络结构进行改进。本文中将Siamese-FC中间特征提取层拓展为DRe
随着深度学习的快速发展,计算机视觉系统得到了广泛的应用,例如无人机航拍、视频监控、户外体育直播以及充满潜力的无人驾驶系统。但是在恶劣的气候下,尤其是自然界最常见的雨天,由于雨水条纹的影响,导致成像系统捕获到的图像质量大大降低,这往往造成计算机视觉算法产生严重的错误。因此,图像去雨技术逐渐成为研究的热点,开发出高效的自动去雨算法具有重要理论价值与实际应用价值。考虑到注意力机制可以在卷积神经网络中自适
人脸识别技术的研究与应用现已在各个领域有着不断深入的发展,特别是在有限制性条件下(正脸、无遮挡、光照充足且均匀等)的人脸识别技术也已较好地应用至某些特定场景,而对于更接近实际应用的非限制性场景下(侧脸、素描人脸、人脸遮挡等情况)的人脸识别效果,在安防、金融等重要领域有着更加突出的作用。因此,非限制性场景下人脸识别算法的研究与应用仍是这些领域亟待解决的难题。所以本文针对非限制性场景下的人脸识别问题,
丙烯腈-丁二烯-苯乙烯共聚物(ABS)是熔融沉积成型(FDM)技术的主要耗材之一,其在制造业和教育领域应用广泛,但在有关环境污染治理领域的应用却鲜有报道。我国是印染大国,印染废水总排放量大,多数染料具有很强的毒性和致癌性。目前通常采用吸附方法处理印染废水中的染料污染物,常用的吸附剂包括活性炭、生物质材料、固体废弃物、天然矿物等具有优良孔隙结构和较大比表面积的材料,其中硅酸钙(CSH)因其具有制备成
随着互联网的不断创新与进步,用户享受着服务提供商(SP)提供的各类型服务的同时,与服务相关的数据也在日益增长。这些数据被SP收集分析来获取对其服务开展有用的信息。服务评级就是一种获取此类数据常见的方法,用户参与服务后给出不同维度的评级数据,其被SP收集用于辅助完善服务。但随着用户隐私意识的不断增强,其不再信任其他人,且仅在私有数据离开自己设备之前,对其进行了适当消毒的情况下才愿意共享数据。因此,在
图像作为现代社会信息传递的主要媒介,具有不可替代的作用。随着科技的发展,人们对图像质量的追求也逐年提高,其中图像分辨率就是一个重要的方面。同一场景中,高分辨率的图像包含更多的信息,具有更高的清晰度和更丰富的边缘细节。由于从硬件的角度已经很难提高图像分辨率,利用软件的方法就显得具有重要意义。图像超分辨率重建就是利用软件的手段将一幅低分辨率图像或图像序列重建成单幅高分辨率图像。图像超分辨率重建目前已在
由于视频编辑软件功能强大且易于操作,常常有不法分子恶意伪造视频,歪曲事实,给媒体、社会与政府带来了挑战。数字视频篡改取证成为了热门的研究领域。本文主要针对数字视频帧间篡改取证展开研究,帧间篡改包括帧删除、帧复制和帧插入操作。考虑到帧间篡改会破坏视频的时序相关性,提出了两种基于时序相关性的方法:1、传统视频帧间被动取证往往依赖单一特征,而这些特征各自适用于某类视频而对其它视频的检测精度较低。针对这种