基于语义相似的在线哈希检索方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zifeng20060819
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G网络的普及和移动终端设备的发展,人类社会已经步入大数据时代。大数据存储与分析技术是信息领域的关键技术,对社会经济的发展具有及其重要的推动作用。信息检索作为大数据技术的重要分支,受到了国内外学者的广泛关注。哈希检索具有存储成本低、查询速度快等优势,是大规模数据检索的重要技术手段,拥有广阔的发展前景。传统的基于批量数据处理的哈希方法只能用于处理静态数据,无法适应在线场景下的流数据处理。在线哈希检索通过引入在线学习方法,构建动态哈希模型,实现了流数据的高效处理。然而目前的在线哈希检索方法仍然存在一些亟待解决的问题:1、在线学习过程中的信息丢失问题;2、在线场景下的数据不平衡问题;3、流数据分布的码本拟合问题;4、在线场景下的困难样本学习问题。针对以上问题,本文提出了两种在线哈希检索方法:(1)针对流数据的信息丢失问题与数据不平衡问题,本文提出了一种基于语义保持与动态平衡策略的在线哈希检索方法。该方法以一个小规模锚点集的编码作为中间变量,通过相似性矩阵关联新旧数据的哈希码,减少信息损失的同时大幅提升了训练效率。此外,还将标签矩阵作为监督信息的补充,进一步增强了哈希模型的信息整合能力。为了解决在线场景下的数据不平衡问题,该方法提出了一种动态平衡策略,以自适应方式调整相似数据对的学习权重。最后,该方法采用离散优化策略学习哈希码,避免了量化损失。(2)针对流数据分布的码本拟合问题与困难样本学习问题,本文提出了一种基于动态码本与困难样本学习的在线哈希检索方法。该方法首先利用哈达玛矩阵构建初始码本,并通过学习一个正交映射矩阵实现初始码本的动态更新,之后将相似性矩阵作为监督信息指导码本更新与哈希码的生成,从而获得更加契合数据分布的码本与哈希码。此外,该方法还提出了一种面向成对数据的加权注意力机制,首先通过已有哈希模型发现困难样本对,然后在相似性矩阵中提升困难样本对的学习权重,从而增强哈希模型对困难样本的辨别能力。最后,该方法采用了两步哈希优化策略,实现了哈希码与哈希函数学习过程的解耦。本文在三个广泛使用的数据集上进行了大量实验,并将实验结果与八种具有代表性的在线哈希检索方法进行了对比,对比结果验证了本文提出的两种在线哈希检索方法的有效性。
其他文献
随着信息技术的发展,我国需要对农业的发展进行转变和改革。目前大力推动农业方面的信息化建设已成为我国发展的重要任务,这也是实现农村现代化较为重要的一步。网络中的数据以爆炸性增长,为了从海量数据中获取目标数据,搜索引擎应运而生,当前搜索引擎是人们快速获取信息的主要工具。搜索引擎的搜索结果匹配度又极其依赖于使用的分词方法,分词能力越好会得到更高匹配度的结果,同时高匹配度会大大缩短用户获取目标信息的时间。
学位
近年来,随着深度神经网络和传感器技术的发展,自动驾驶成为了人们的研究热点。环境感知模块是整个无人驾驶系统的关键,其输出的精确度直接影响着下游模块,例如规划、决策和定位。为了提高自动驾驶系统环境感知的性能与可靠性并降低成本,相机-激光雷达感知融合技术受到了越来越多的研究者的关注。然而,激光雷达获取的点云深度图是不规则的无序的,这极大地制约了3D感知技术。为了解决上述问题,稀疏深度补全任务被提了出来,
学位
随着近年来计算机领域的迅速发展,电子战在现代战争中的战略地位也日益重要,因此运用计算机实现作战仿真系统也逐渐被军队所使用。将武器装备通过计算机进行建模并构建作战仿真系统不仅能够快速推演作战方案,对验证武器装备可行性、组织作训人员进行模拟训练,提升作战经验等都具有很大的帮助。本文设计了基于组件化建模的水下仿真控制演练系统,该系统总体上采用标准化、层次化、模块化方法,各个功能模块之间低耦合,便于维护和
学位
随着计算机技术和传感器技术的快速发展,红外图像以其具有的夜视范围广、抗干扰能力强、可全天候工作等优势,被广泛应用于军事和民用等领域。红外图像目标检测作为现代红外系统的核心技术,一直是图像处理领域的重要研究内容。近年来,随着深度学习技术在图像处理领域取得的卓越研究进展,有效推动了红外图像目标检测技术的发展。在诸多深度学习目标检测算法中,基于Anchor的回归型目标检测算法是经典算法之一,它可以直接将
学位
随着深度学习的不断发展,神经网络,尤其是卷积神经网络已经广泛应用于各种计算机视觉任务中,与此同时,在传感器技术飞速发展的背景下,多类型传感器已经部署到大量应用中,比如视频监控和自动驾驶技术。因此,本文研究了基于CNN和小波变换的低光照图像增强算法,同时提出了一种基于多传感器协同和CNN的视频编码新范式。本文的主要贡献如下:1.在低光照条件下拍摄的图像动态范围较窄,色调较暗,信噪比低,而且图像中所含
学位
在现代无线通信和雷达系统中,电磁波前赋形具有重要的应用价值和研究意义,通过波束赋形技术可以实现特定的远场方向图来满足实际应用场景的需求。电磁超表面作为一种平面型的人造复合电磁结构,由于具有剖面低、设计灵活、加工便捷、损耗低等明显优势在电磁波调控与设计领域成为研究热点,其表现出来的独特的电磁性能为实现对电磁波的完全控制提供了一种新的方案。本文主要研究电磁超表面对电磁波幅度和相位的同时调控机理,分别设
学位
由于玻璃特殊的光学性质,日常生活中透过玻璃拍摄的照片通常会被反射遮挡,从而影响信息的获取,如何去除反射并恢复图像被遮挡的信息成为一个亟需解决且富有挑战性的任务。由于照片的首要关注点是人脸,所以带有反射的人脸图像会给观众带来更大的困扰。近年来,在具备丰富标记数据的前提下,基于深度学习的目标检测器取得了较好的性能表现。然而,数据标注通常是昂贵且耗时的。因此,能够从一个标记样本中学习一个泛化模型的one
学位
图像是人们感受和理解世界的重要媒介,相比于文字和声音,图像承载着更加直观且丰富的信息。然而,在采集、处理和传输过程中,图像不可避免地产生失真和降质,增加了图像理解的难度。因此,需要设计图像质量评价算法解析图像降质的原因并量化其质量,从而为图像画质的增强和视觉体验的提升提供指导。本文从主观图像质量评价的特性出发,首先研究了主观图像质量评价中图像质量排序任务与评分任务的关联关系,并在此基础上设计相应的
学位
随着智能成像设备的普及和互联网的快速发展,图像数据呈现爆发式增长。然而,互联网上的大部分图像是没有对应的语义描述的,这使得人们很难有效利用这些图像信息。人工标注耗时耗力,而且存在个体差异。图像描述生成模型可以为图像数据自动生成相匹配的字幕,这广泛应用于智能搜索、人机交互等领域。近年来,随着深度学习算法被引入到图像描述生成任务中,模型生成的字幕质量显著提升,在个别指标上甚至超过人类。然而,现有数据集
学位
近年来,卷积神经网络在图像特征学习领域取得了令人瞩目的成功,能够有效地解决图像分类、图像分割、目标识别等问题。为了追求更高的性能,研究人员设计出许多结构精巧、参数量大的模型应用于各种计算机视觉任务当中。然而,设计一个良好的神经网络结构并非易事,不仅需要设计者掌握深度学习的相关专业知识,而且要求设计者能够针对不同任务的特点设计适合的神经网络结构。因此,提出了神经网络结构搜索来解决神经网络结构的设计难
学位