基于多模态特征的视频检索技术研究与应用

来源 :南昌大学 | 被引量 : 0次 | 上传用户:skyeyviva
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频是承载着动态信息的多媒体载体,蕴含了丰富的语义信息,而高层的语义信息与常规认知中的低层特征之间常常存在“语义鸿沟”。为缩小视频的“语义鸿沟”,本文以教学视频为研究对象,综合视频的图像模态及文本模态从视频结构化、视频信息提取等方面对视频检索技术展开研究,并基于视频的多模态信息设计实现了视频检索系统,以提高用户对于教学视频的检索效率。主要研究工作和成果包括:1.提出了一种基于时空切片与相似度度量(STSSM)的镜头边界检测算法。针对教学视频镜头内部运动变化较少,镜头变换形式较为单一的特点,依据突变镜头与渐变镜头的特性,通过在时空切片算法中引入相似度度量函数,解决了传统镜头边界检测算法计算复杂度高、查准率低的问题。实验结果表明,该算法可以在较小的时间代价下保持较高的查全率与查准率。2.提出了一种基于Tesseract与TF-IDF的视频信息提取方法。针对Tesseract对于视频中中文文本识别率低的问题,采用字符库训练方法对教学视频中的文本进行有效识别,结合TF-IDF方法对视频图像文本与字幕文本进行语义信息提取。实验结果表明,该方法提取的视频信息能够很好的对视频内容进行概括。3.利用以上算法从视频的图像模态与文本模态中提取相应语义信息,采用Spring Boot+Shiro+My Batis+Thymeleaf技术,设计实现了基于多模态特征的视频检索系统。该系统主要包括信息管理、视频分析、视频检索等功能,具有检索准确度高的特点。测试表明,系统能有效满足用户多元检索需求。主要贡献:提出的基于时空切片与相似度度量的镜头边界检测算法,可在较小的时间代价下保持较高的查全率与查准率;提出的基于Tesseract与TF-IDF的视频信息提取方法,可同步对视频图像文本与字幕文本进行语义信息提取;设计实现的基于多模态特征的视频检索系统,可有效满足教学视频的检索需求。
其他文献
近年来消费升级,产品种类日益丰富,由此引发的激烈的市场竞争受到前所未有的重视,成为企业创造价值的核心驱动力。随着国家扶贫政策的实施,地域特色产品受到重视,本课题以湘西地域文化的视角,以背篓人家餐饮品牌为研究对象,结合湘西的地理环境、建筑特征、经济要素、风俗民情、民族文化等方面,分析背篓人家餐饮品牌的特色和所处地的地域文化。通过文献研究法、案列分析等方法分析背篓人家餐饮品牌的现状以及需要改进升级的空
宫颈癌是严重威胁女性健康的恶性肿瘤,早期宫颈癌细胞筛查有助于患者及时预防和治疗,利用计算机技术对宫颈癌细胞图像进行识别辅助医生完成诊断成为目前研究的热点之一。但是宫颈癌细胞的识别技术面临着许多问题严重影响识别的准确率,比如细胞重叠,背景含有与宫颈癌细胞无关的细胞或杂质。为了解决上述问题,本文基于深度学习对宫颈癌细胞识别进行研究,主要的研究内容如下:(1)提出一种基于改进的圆周卷积的宫颈癌细胞分割算
目的:系统评价替罗非班防治急性ST段抬高型心肌梗死患者在经皮冠状动脉介入治疗中缓慢/无复流现象的临床有效性与安全性。方法:计算机检索Cochrane对照试验资料库、Pub Med、Embase、Web of science、中国生物医学文献数据库(CBM)、中国知网数据库,以上所有数据库的搜索时间均由建库开始至2021年4月。由2名评价者独立评价纳入研究的质量、提取资料并交叉核对,对同质研究采用R
儿童自然缺失问题带来了公众对自然体验教育的关注,休闲农业是一种很好的兼顾儿童自然体验与农业经济发展的模式,具有很强的生命力。但儿童体验式休闲农业在我国还处于起步阶段,不重视品牌形象设计的系统性和科学性,在一定程度上阻碍了休闲农业的发展。因此,本课题从用户体验的视角出发,对儿童休闲农场品牌的设计进行分析和探讨。本课题从用户体验的视角对休闲农业和儿童群体进行分析,探索儿童体验休闲农场品牌构建的方向。在
没骨法和破墨法作为一种传统技法,更多的运用在在花鸟画中,随着绘画的多样性和创作性手段日益丰富,技法的边界性也变得模糊起来;时代的发展和文化美学的交流融合更是让中国水墨画不断的展现出新的形势与面貌。本文将没骨和破墨作为一种技法和传统笔墨精神的象征,从没骨和破墨的发展和演变、技法的借鉴和解读,到技法的延伸和丰富以及在创作中的运用这几个方面;将传统笔墨的传承和时代历程变化作为创作前提,用没骨人物画的表现
随着城镇化建设快速推进,越来越多的城市高层建筑采用玻璃幕墙来作为装饰,但玻璃幕墙后期的清洁检测维护却是一大难题。目前市场上,仍旧是采用传统人工方式,危险系数大,且清洗设备成本高昂。如果没有专业、便捷的检测设备,将大大制约玻璃幕墙的实用化进程。基于对解决社会问题和产生具有社会价值产品的思考,探索并建立了“D+X”模块化设计方法。致力探讨技术与创新的关系,将模块化的理论探讨引入产业实践,通过数字化平台
近些年来,互联网的发展已经渗透到了每一个领域,伴随着计算机技术与网络的迅猛发展,网络安全问题也面临着严峻的考验,各种形式的网络入侵行为层出不穷。如何快速高效的检测网络异常入侵行为已成为网络安全领域的一个重要议题。当前已有的网络入侵检测相关技术研究,其存在研究数据样本不平衡,低占比样本预测召回率低,技术操作复杂难以推广等问题。基于此,本文将采用基于Easy Ensemble下采样与Table Gan
准确识别潜在违约贷款,提前阻止贷款发放或对已发放贷款进行跟踪处理以保证贷款收益,是金融风控领域的核心问题。针对当前贷款违约预测模型分类性能低、缺乏稳定性且泛化能力不足等问题,本文利用金融贷款数据集构建了基于GSCV-XGBoost的贷款违约预测模型,提出了基于XGBoost-Stacking集成学习的贷款违约预测模型,基于Django框架开发了贷款违约预测系统。主要研究工作和成果包括:1.构建了基
近年来,云计算的研究热度只增不减,关于云计算的研究已蔚然成风。其覆盖面十分广泛,生活中的各个场景如网上购物、导航,都能发现其身影。且不论是金融领域、医疗领域、通信领域甚至是政府工作领域,云计算都得到了广泛应用,为我们的生产和生活都带来了极大的便利。云存储作为其延伸概念,也备受关注。特别是关于云存储的安全问题,即如何保障数据所有者存储在云服务器上的数据的机密性,保护信息不被篡改、删除、伪造,维护用户
随着我国经济的迅速发展和人们生活水平的提高,我国的老年人数量呈直线增长的趋势,养老问题成为日益凸出的问题。面对普遍存在着的养老难这个问题,我国政府提出了一种新型模式——社区居家养老服务模式。此模式是参照国外的一些理论和成功案例,在此基础上结合我国的国情展开的一种新型模式,这种模式可以让老年人不脱离原来的生活和居住环境,在熟悉的社区里就能享受到方便舒适的各项养老服务,完善社区居家养老服务中心是政府的