【摘 要】
:
互联网技术的快速发展和普及,引发了文本、图像、音频和视频等多模态数据的指数式增长,给数据存储和查询带来很大的挑战。多模态数据的主要特点是种类多、杂糅性强,难以对其进行有效地管理和利用,这也制约了进一步从中挖掘数据潜在价值。因此,本文研究的是通过深度学习、存储优化等技术,实现基于内容相似性查询的视频文本存储机制。主要面临的挑战是:视频与文本数据之间的差异性巨大,且存在语义鸿沟,导致相关有效查询的难度
论文部分内容阅读
互联网技术的快速发展和普及,引发了文本、图像、音频和视频等多模态数据的指数式增长,给数据存储和查询带来很大的挑战。多模态数据的主要特点是种类多、杂糅性强,难以对其进行有效地管理和利用,这也制约了进一步从中挖掘数据潜在价值。因此,本文研究的是通过深度学习、存储优化等技术,实现基于内容相似性查询的视频文本存储机制。主要面临的挑战是:视频与文本数据之间的差异性巨大,且存在语义鸿沟,导致相关有效查询的难度增加。这也导致传统关系型数据库系统难以对视频、文本等跨模态数据进行有效管理,亦无法在跨模态数据之间建立以内容相似性为标准的关联关系。本文利用深度神经网络构建了视频文本跨模态查询模型VTCRH,其分别提取视频和文本的语义特征,实现视频文本的跨模态存储与查询任务。具体而言,首先,在离线状态下,将存储的视频、文本数据输入本文设计的哈希网络中,经过特征提取、哈希映射,得到对应的哈希码;然后,哈希码输入到Neo4j图数据库中,以哈希码为节点、哈希码之间的汉明距离为边上权值,构建哈希图谱,提供哈希查询基础;最后,在线阶段,实时接收、处理新的文本或视频数据得到对应哈希码,在哈希图谱中依据查询半径进行查询,并从底层存储系统中返回查询目标文件,从而完成基于内容相似性的跨模态视频文本查询任务。VTCRH模型在MSR-VTT、MSVD和TGIF等三个公开数据集上进行了相关测试,结果表明,VTCRH模型能够兼容于存储系统中,以较小的时间和存储代价提取视频文本数据的内容特征,从而完成跨模态内容查询的任务。通过对Neo4j数据库中哈希图谱的优化设计,降低了数据的存储开销以及节点的通信开销,提高了系统的查询效率。
其他文献
科学技术的蓬勃发展带来应用种类的百花齐放,却也导致数据规模的爆发式增长,如何处理大数据成为信息时代的一项亟需解决的关键问题。由于传统的集中式处理系统在面对高并发、大流量的新型数据面前显得愈发力不从心,分布式计算系统逐渐取代其成为主流的大数据处理方式。由此,本文提出了一种基于可分负载调度的分布式大数据加速原型,以解决在任意网络拓扑结构下的分布式处理系统中网络带宽和计算资源分配的问题。本文主要分为两大
二氧化碳是温室气体,通过二氧化碳回收利用来减少工业过程中的碳排放对环境保护非常重要。现有二氧化碳回收技术大多着重于二氧化碳捕集率,而较少关注二氧化碳产品的纯度。本文对精馏法制取高纯二氧化碳工艺进行研究。二氧化碳排放气的来源有烟道气、石灰窑气、发酵尾气和制氢尾气等。根据不同来源的气体中各组分与二氧化碳之间的汽液平衡数据,对比选择合适的热力学计算模型。基于组分特点分析,提出分离纯化过程需特殊处理的杂质
最近,在大数据和从数据流中学习的情况下,增量学习和在线学习越来越受到关注,这与传统的完全数据可用性假设相冲突。一般来说,传统的假设是所有任务的训练数据始终可用。然而在实际应用中,在构建统一的视觉系统或逐步向系统中添加新功能时,如果涉及连续输入数据流的在线服务。任务数量不断增加,对此类数据进行存储和重新训练变得不可行,增量学习被认为是解决上述实际挑战的有希望的解决方案。研究表明,增量学习存在一个基本
钛合金因其高比强度、耐腐蚀性能、生物相容性,已广泛应用于航空航天、生物医学、石油化工等领域,但钛合金的低耐磨性限制其进一步应用。目前常在钛合金表面电镀镍、铜、铬等金属层以提高钛合金耐磨性。但由于镀层以机械结合的方式与基体结合,其结合性能不足,镀层服役寿命有限。研究者利用镀后扩散热处理强化电镀Ni与Ti-6Al-4V(TC4)基体的结合性能,并采用划格法、挫削法等检测Ni镀层结合性能,然而这类定性镀
分布式压缩感知建立在压缩感知理论基础上,既能利用信号内的相关性又能挖掘信号间的相关性,可以提高信号的重构精度,在图像处理等领域有着广泛的应用。作为图像处理的一个重要分支,图像融合因其广阔的应用前景,吸引了国内外研究学者的广泛关注。鉴于同一场景的待融合源图像间存在着很强的相关性,本论文通过引入分布式压缩感知挖掘图像的相关性进而实现图像融合,具体工作如下:1、多聚焦图像融合旨在识别同一场景下多张单聚焦
在工业互联网背景下,工业控制网络对各要素之间的互连互通提出了更高的要求,工业以太网协议标准不统一、彼此之间不能兼容的问题日益突出。为此,IEEE802任务组发布了一系列时间敏感网络标准,为工业以太网协议建立了一套通用的时间确定性机制。作为时间敏感网络标准中最重要的协议之一,IEEE 802.1AS协议缺乏固有的安全机制,存在极大的安全隐患。在该背景下,本文针对IEEE 802.1AS协议的安全性问
随着新课程改革的实施和有序推进,如何有效提高音乐课程特别是小学阶段教学效率、实现新课标教学三个维度的目标、全面提高学生音乐素养,成为了音乐教师教学实践中关注的主要问题。众所周知,视唱练耳作为音乐教学中的重要环节,在培养学生的听觉能力、音乐感知能力、作品鉴赏能力方面发挥着不可替代的作用。通过笔者调查发现,有相当一部分小学教师在视唱练耳课程教学中往往直奔主题,直接进入到歌曲的学唱环节,忽视或无视视唱练
单目3D目标检测是自动驾驶领域的一个重要课题。现有的单目3D目标检测算法通常基于完全的深度学习方案。同时往往只针对训练样本数量较多的类别,如汽车(Car)等进行训练,而对于其他样本量少的类别,如骑自行车人(Cyclist)等不予过多关注,或者运用效果不甚理想。对于需要完成空间推理的网络而言,样本的数量对成功训练网络起到了极大的作用。即使采用数据增广等方式进行扩充,网络在检测2D时效果相对明显,但推
繁简分流与当今世界司法审判模式的发展演变相契合。在世界范围内,面对诉讼案件数量大幅上升、人案矛盾突出、诉讼效率低下但成本高昂的现实,通过设立更为快捷、成本更加低廉的程序及时解决争议已经成为必然趋势。小额诉讼程序、简易程序、辩诉交易等已经成为许多国家诉讼制度改革的重要选择。行政案件数量不断增加已然成为普遍现象,给人民法院行政审判庭带来了巨大压力。对于行政争议的解决而言,较为理想的状态应该是简单案件能
锂离子电池作为一种高能量,长寿命且环保的储能设备,已被广泛应用于日常生活中,但随着社会的快速发展,人们对锂电池的性能要求也越来越高。开发安全可靠,绿色环保,且拥有更高能量密度的电极材料将是未来电池行业的主要任务,而富锂锰基正极材料因具有高能量低成本的优点,已然成为下一代正极材料的研究热点。本文以硫酸盐为原料,(NH4)2CO3为沉淀-络合剂,通过共沉淀法制备得到Mn1-2xNixCoxCO3前驱体