基于知识图谱的文本-视频跨模态搜索系统的设计与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:xiaoyawxh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网在各年龄阶层的日益普及,人们逐渐习惯于在互联网上发布视频来记录日常生活,分享知识、表达自我。在这个知识共享的时代背景下,一些内容创作者需要足够丰富和有趣的视频素材才能做出更吸引人的视频来抓住观众的眼球,而创作者如何检索这些海量视频作为内容素材就成为一个新的痛点。但目前主流视频平台基于标题和标签索引匹配的搜索系统没有理解视频内容的能力,所以难以满足该类用户精准搜索的需求。因此研究设计一个满足该类用户需求的视频搜索系统有重要的意义。目前主流的基于深度学习的跨模态视频搜索的模型采用的是一种端到端建模的方案,这种方案只能对短小(10s左右)的、视频内容主题单一的视频有不错的效果。这种端到端建模的解决方案仍然处于起步阶段,但是还达不到商业公司产品化的要求。于此同时,抖音的视频搜索方案采用了光学字符识别(OC R)、语音识别(ASR)等技术拆解视频内容然后建立索引,这样的方式能解决较长时长视频的搜索,但是无法做到对用户检索目的的推理。因此本文针对知识类视频具有语音讲解的信息量要远多于画面的信息量而且视频时长长、主题维度多等特点,提出一种分别建模的方法,即通过抽取视频语音内容转为文字,再进行知识抽取,从而将跨模态视频搜索的问题转化为知识图谱中实体检索的问题。本文设计并实现了一个基于知识图谱的文本-视频跨模态搜索系统。本系统的实现总共分为三部分:视频管理模块、语音识别模块和知识图谱模块。视频管理主要实现了视频的上传和视频搜索功能。视频管理模块中,利用Django框架实现视频上传功能,然后搜索功能采用基于REFO的模板化的问句解析来实现。语音识别模块中,本文首先通过提取出视频语音的语谱图特征,随后微调了VGG网络结构并结合CTC做重复符号消除,使声学模型适配语谱图,然后训练该声学模型得到拼音,最后通过统计语言模型将拼音转为中文文本。在知识图谱模块中,知识抽取由两部分组成,首先通过搭建BiLSTM-CRF模型实现实体识别功能,然后搭建BiLSTM-Attention模型进行关系抽取两大步骤的知识抽取方案。并且利用Neo4j图数据库进行知识存储构建出与视频内容相关的知识图谱。这样系统可以将用户的输入进行解析转成图数据库的实体查询去检索结果。最后本文给出了具体的测试方案和即详细的测试用例,并对系统进行功能测试和系统测试,对测试结果的分析证实系统达到了预期的效果。
其他文献
允许将共同犯罪案件中认罪被告人与不认罪被告人分案审理,可能会产生侵害不认罪被告人的诉讼权利、损害定罪量刑的准确性以及被检察院用于实现不当目的等风险。造成这些风险的主要原因包括:未确立被告人完整的对质询问权,未明确前案裁判与后案裁判的关系,检察院在起诉方式与认罪认罚从宽制度的适用上居于主导地位等。为规避共同犯罪案件适用认罪认罚从宽制度的风险,应采取赋予被告人完整的对质询问权、明确前案裁判与后案裁判的
目的 探讨长链醇类和油类物质作为洗涤液在磁珠法核酸提取中的应用价值。方法 分别以5种长链醇类物质(十一醇、正癸醇、正辛醇、1-壬醇、2-十二烷醇)和3种油类物质(二甲基硅油、FC-40、石蜡油)作为洗涤液,采用磁珠法对102~105拷贝/μL的DNA和RNA混合物进行共提取,以传统的70%乙醇洗涤液作为对照。采用聚合酶链反应(PCR)或逆转录聚合酶链反应(RT-PCR)对提取的核酸进行扩增,采用循
目前,随着互联网飞速发展,网民数量越来越庞大,在2021年底达到了近几年的峰值。根据中国互联网信息中心发布的第49次《中国互联网络发展状况统计报告》显示,截至2021年12月,我国的网民数量高达了10.32亿,和2020年12月相比增长了4296万,互联网普及率高达73.0%。1信息网络在不断膨胀壮大的过程中的使我们的生活、生产方式以及社会形态发生了较大的改变,同时使我国的传统制度体系遭受大规模地
现实中的业务流程在不断发生变化,因此需要对初始的业务流程模型进行修复以更好表示实际业务流程。模型修复的关键步骤是分析现实日志和模型间的偏差,而目前寻找偏差的方法主要采用对齐重演技术,未从行为的角度定量分析抽象的结构。为此,提出一种通过行为轮廓分析日志和模型偏差的方法,在此基础上进一步给出了基于逻辑Petri网的模型修复方法。首先基于行为轮廓计算日志和模型间的服从度以识别偏差迹;然后在偏差迹中依据偏
目的研制一种食源性致病菌DNA快速释放提取试剂并优化其使用方法。方法采用正交试验法,以qPCR扩增Ct值为指标,考察TritonX-100、SDS/LLS、EDTA和NP-40四因素对释放效果的影响,并用实际样品加标后检测判定样品基质对释放效果的影响,对适用过程进行进一步优化。结果 最优试剂组合为A1B2C2D2,即TritonX-100的浓度为5.5%、SDS为0.04%,EDTA为2mmol/
商誉作为合并报表中的一种资产,其后续计量方法在学术界中一直存在争议,而我国会计准则规定商誉采用减值测试法。并购中产生的商誉后续计提的大额减值也引起了各界广泛关注。文章主要对商誉后续采用减值测试法的优点和弊端进行分析,并提出相关防范对策,期望能在弥补减值测试法缺点的问题上提供借鉴和帮助。
<正>在疫情影响之下,快递物流行业直面机遇与挑战,UPS凭借对中国市场的深刻观察,持续扩大服务网络、创新服务模式,并与合作伙伴携手探索数字化、绿色化转型升级。作为全球领先的物流服务提供商,UPS自1988年在中国市场开展业务以来,不断拓展其服务网络,帮助中国客户应对多变的市场环境,在全球范围内实现更快增长。
期刊
为研究半干旱气候区水资源的开发利用情况,以榆林市为例,根据水资源统计数据,运用能值生态足迹模型对榆林市2000—2019年水生态足迹、水生态承载力等进行综合评价,得出榆林市水资源开发利用变化特征,并与传统水生态足迹模型进行对比。结果表明:(1)2000—2019年,榆林市水资源能值生态足迹年均值1.17 hm2·人-1,水资源能值生态承载力年均值0.49 hm~2·人-1,生态赤字明显,且呈增加趋
<正>0引言根据快餐外卖后台数据显示可知,在订餐高峰时段,快餐外卖配送每天最多可以达到2.0×106单,为提高送餐效率,外卖平台招聘了约8.0×105名专业配送人员为用户提供快餐外卖配送服务[1]。本文将在现有研究内容的基础上,设计一种针对快餐外卖配送路径方案的全新规划设计方法,将优化配送路径、提高快餐外卖服务平台注册与下单用户的满意度作为设计标准,深化此项工作,从而实现在提高快餐外卖效率的同时,
期刊
美术课程是幼儿教育的重要组成部分,美术的表现形式十分的丰富多彩,生活的事物,想象的呈现,都可以通过美术的形式,开展美术教学,不仅能够很好的促进幼儿对这个多彩世界的认识,同时,美术教学的开展还能够为幼儿的艺术素质培育奠定好基础。但是基于幼儿的年龄特征,以及理解能力、模仿能力的局限性,在美术课程开展过程中,为了充分幼儿的兴趣,往往会采取游戏化的教学形式来提升幼儿的学习积极性,从而促进教学活动的有效开展