基于语义嵌入软相似性的多标签视频哈希检索

来源 :武汉大学 | 被引量 : 0次 | 上传用户:pz11200618
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着便携移动设备的普及和网络传输技术的成熟,视频数据海量扩增,大规模视频检索技术的必要性和重要性随之日益提高。深度哈希技术由于其占用存储空间小、检索时间开销小的特点成为完成检索任务的一种有效手段。目前视频哈希检索方法大多由图像哈希方法发展而来,它们通常将视频看作连续的图像序列,通过融合视频帧图像特征近似得到视频特征以进行检索任务。事实上,视频不同于图像的一个重要特性是具有时序信息,而且视频内容往往是由少数关键帧决定的。目前深度视频哈希检索方法的局限性有以下三点:(1)完全忽视时序信息,没有充分挖掘视频帧间特征;(2)在生成视频特征时同等看待所有视频帧的重要性,致使生成的视频特征区分性不强;(3)现有的大多视频哈希方法是针对单标签视频的。相比于单标签数据,多标签数据含有的语义信息和语义关联更加复杂,检索难度也更大。单标签检索方法使用的样本相似性定义方法由于不涉及多标签样本的相似性排序问题和标签的语义信息及关联关系,很难准确反映多标签样本之间的真实距离,从而削弱了多标签视频检索的性能。为了解决多标签视频检索中存在的问题,本文创新性地提出一种基于语义嵌入软相似性的多标签视频哈希检索方法。首先,通过一个叠加了双层混合注意力模块的特征提取网络提取视频特征。该特征提取网络的基础架构是卷积神经网络和循环神经网络,双层混合注意力模块由叠加在卷积网络后面的自注意力子模块和叠加在循环神经网络中的相互注意力子模块共同构成,该模块旨在生成视频判别性特征时给不同的视频帧分配不同的权重。其次,针对多标签视频数据集,设计了一种语义嵌入软相似性构建更为准确的相似关系作为训练阶段的监督信息,指导网络学习质量更高的哈希编码。这一部分使用了一个图卷积神经网络学习各标签的语义嵌入词向量及标签间的关联关系,通过语义嵌入词向量扩充各视频样本的标签向量后获得显性相似度、根据标签相互关系选择性使用相关标签的语义嵌入词向量构建隐性相似度,显隐性相似度共同构成的语义嵌入软相似性能够缓解多标签数据集标注不全、部分标签缺失等问题导致的检索精度损耗问题。在多个视频数据集上对比实验结果表明本文的方法在多标签视频哈希检索问题上表现出更好的检索准确度和鲁棒性。
其他文献
近年来,随着深度学习和卷积神经网络技术的快速迭代更新,人脸识别的性能取得突破性的进展,并广泛应用在各种身份验证场景中,如金融支付、车站进站等。尽管人脸识别已经在多种复杂的自然场景下取得与人类观测者相当的成绩,但有研究者发现只要在输入图像上附加一些微小的像素扰动,就能够轻易地欺骗基于神经网络的人脸识别系统,这种攻击方法一般被称为对抗攻击。为了应对这种威胁,已经有许多研究者提出了有效的对抗防御策略。然
学位
目的 探讨双侧子宫动脉结扎术联合Cook球囊治疗产后出血的临床效果。方法 方便选取2019年4月—2021年4月间厦门大学附属第一医院收治的76例产后出血产妇作为研究对象,依据不同治疗方式分为联合治疗组和对照组,各38例。两组均进行临床常规治疗,对照组给予双侧子宫动脉结扎术治疗,联合治疗组在对照组基础上联合Cook球囊治疗,比较两组治疗后临床效果,记录并比较两组手术治疗中及产后24 h患者出血量及
期刊
黄甡教授认为,小儿湿疹病位在心、肝、脾、肺,外因为风、湿、热三邪蕴于皮肤,将小儿湿疹分为风热蕴肤证、湿热内蕴证、脾虚湿盛证、血虚风燥证4个证型。风热蕴肤证疏风散热,方用消风散加减治疗;湿热内蕴证清热利湿,选用甘草泻心汤加减治疗;脾虚湿盛证健脾化湿,方用小儿化湿汤加味治疗;血虚风燥证养血祛风,方用土苓二术汤治疗;血瘀明显者,方用土苓二术汤加乌蛇荣皮汤加减治疗。自拟湿疹散、湿疹膏、五倍子油膏外用,常配
期刊
城市化进程的不断推进和城市人口的飞速增长,给城市带来活力的同时也带来了更多的负担。而通过对城市人群流量进行预测,从而更加合理地进行资源分配、交通管理、公共安全维护,是减轻城市压力,提升城市人民的生活质量和幸福感的重要途径之一,因此城市人群流量预测也逐渐成为了学术界的一个热门研究课题。然而,由于该问题属于非线性预测问题,不仅具有复杂的时空依赖性,而且受到各种外部因素的影响,使得该问题至今仍然没有足够
学位
消费者在商场购物时,除了商品和服务之外,购买时的环境因素也会对消费者的购买决策产生持续而稳定的影响。温度就是其中一个关键的环境因素,它从生理上和心理上无时无刻不在影响着消费者的认知和行为。因此,如何更深入地了解环境温度对于学者和企业来说都是一个值得思考的问题。随着科技进步,市场上的新产品不断涌现,吸引了越来越多消费者的关注,新产品成功对于企业经营也越来越重要。结合此背景,本文将会探究环境温度对于新
学位
时间无处不在,是人们生活中最常见、最重要的概念之一。时间本身是抽象的、无形的,但可以通过和时间相关的物件、图片、文字等线索得以呈现。时间线索在营销实践中得到了广泛的应用,对学习课程、书籍、健身房会员等自我提升类型的产品而言尤为明显。时间在追求自我提升的过程中发挥着重要作用,是定义目标和监控目标进程的重要维度。与时间相关的物件、图片、文字等线索能够激活消费者对时间的整体认知,影响目标追求。在时间线索
学位
目的 探讨Bayes判别分析用于瘢痕妊娠患者(CSP)结扎子宫动脉风险预测的临床效果。方法 收集2018年6月至2020年10月深圳市中西医结合医院73例未结扎与87例结扎子宫动脉的CSP患者,纳入手术有关因素,通过单因素分析筛选差异变量,采用logistic回归分析模型进行回归分析;利用受试者工作特征(ROC)曲线分析指标预测结扎子宫动脉的价值,将选取变量带入Bayes判别模型中得到判别函数并对
期刊
如今互联网应用以惊人的速度产生海量的数据,这为存储系统带来巨大的挑战。键值对存储模型以其结构灵活、可拓展性强的优点受到广泛的欢迎。数据密集型的企业级应用程序经常采用可持久化的键值对存储系统进行处理数据请求。在众多键值存储系统中,基于日志结构合并树(Log-structured Merge-Tree,LSMtree)的键值存储系统最为流行,主要原因是它们将密集的随机写转换为顺序写以充分利用硬盘的I/
学位
光相干层析成像技术(Optical Coherence Tomography,OCT)具有高效且非侵入式的特性,已被应用于眼科、心血管等疾病的筛查与诊断。近年来,OCT技术也被逐渐应用到宫颈疾病的检诊中,但对妇科临床医生来说,新技术的应用增加了学习成本。在眼底OCT影像的分类与分割任务中,已有的基于深度学习的辅助诊断方法已得到临床的认可。因此,如何应用深度学习技术来完成宫颈组织OCT影像的分类及病
学位
近年来,越来越多的企业通过跨行业边界、跨组织边界等形式打破原有产业边界来开展业务整合和管理模式、经营模式的革新,实现旨在为用户提供多维度、高质量、高价值的增值服务。跨界服务应运而生,跨界融合正受到越来越多的关注。跨界服务的流程融合是指在跨界服务场景下,如何有效地将不同领域的流程模型进行融合,以满足跨界服务需求。传统的业务流程融合方法大都是通过流程片段分解、流程结构重构等步骤,利用合并、插入、替换等
学位