课堂场景下的视频摘要生成算法研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:liongliong501
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频摘要生成技术是视频大数据内容的高度概括,在交通运输、医疗健康及畜牧养殖等行业都有广阔的发展前景,但将此项技术运用在教育领域的实践还有待提高。本文面向课堂场景,结合其视频数据特征复杂、目标运动幅度小、单位时间内信息密度低等特点,并针对现有视频摘要生成方法不够准确的问题,构建基于注意力机制的卷积神经网络模型获取侯选摘要序列,再通过改进的哈希聚类算法去除冗余帧得到最终的视频摘要。本文主要研究内容如下。首先,针对现有视频摘要生成方法中存在的输入特征单一,不能充分突出课堂视频关键运动目标的问题,提出一种基于DA-Res Net的视频摘要生成模型,将图像帧序列和光流帧序列作为模型的双流输入,以此来得到多样化的视频特征,并在深度残差网络中嵌入通道和空间的注意力机制,进一步加强感兴趣目标权重,最后通过个性化融合得到视频帧重要性分数,生成更具有代表性的视频摘要。其次,针对DA-ResNet模型生成的视频摘要中存在冗余信息,不能精确去除课堂视频相似帧的问题,提出基于哈希聚类的摘要去冗余算法,将边缘检测融入视频帧预处理模块,加强相邻帧之间的细节差异性,弥补感知哈希算法只关注视频帧整体结构的不足,并以汉明距离为指标自适应聚类数目,取每类中图像熵值较大的帧作为最终的摘要帧,去除其他冗余信息,进而得到更精简的视频摘要。最后,采用TVSum和SumMe两个公共数据集对本文算法进行了消融实验和对比分析,证明了本文算法的优越性。此外,为验证其在课堂场景下的有效性,制作了包含不同类型的真实数据集Class Video,实验表明,本文模型在不同的评价指标下均获得了不同程度的提升,实现了对课堂视频摘要的有效提取。
其他文献
近年来,弹幕文化盛行,对数量庞大的弹幕数据的分析研究如雨后春笋般兴起。作为一种在线视频评论设计,弹幕具有两个维度的时间属性,而且包含大量有价值的信息,如评论者的情感、态度和观点。随着时间的推移,弹幕数据量不断增加,信息更具代表性和全面性。然而,从大量弹幕中提取有价值的、有代表性的信息是一项具有挑战性的任务。因此,本文设计一个交互式的可视化框架,来可视化弹幕的情感和观点,用以辅助分析视频内容及其影响
学位
液相沉淀法制备纳米粉体过程中,喷雾干燥参数的选择直接影响粉末产物的形貌和粒径。针对碳酸钠和碳酸氢钠混合沉淀剂沉淀获得的前驱物,采用先进喷雾干燥工艺对其脱水造粒,旨在解决粉末团聚等问题。结果表明:在干燥温度150℃,蠕动泵速度40%的喷雾干燥条件下,可获得D50=3.30μm、(D90-D10)/2D50=0.46,粒径分布窄的球形纳米碱式碳酸钇前驱团聚体;通过控制升温速度5.375℃/min,煅烧
期刊
【目的】为我国城乡有机垃圾的养分资源循环利用及其堆肥合理施用提供依据。【方法】选取餐厨垃圾(FW)、园林废弃物(GW)、鸡粪(ChM)和牛粪(CaM)为主要原料的4种堆肥,采用Hedley连续浸提磷分级、红外光谱分析和热重分析等方法,系统分析不同有机垃圾堆肥的碳磷特征。【结果】4种堆肥的磷素含量和组成,有机碳含量、组成和结构均存在明显差异。粪肥堆肥全磷和活性态磷的含量明显高于植物源有机垃圾堆肥(F
期刊
随着人类的交流越来越频繁,网络中产生了基于社区结构的海量用户信息。影响力最大化问题作为处理这些用户信息的有效手段之一,可应用在病毒式营销、舆情控制等领域,因此受到了广泛的关注。基于社区结构研究影响力最大化问题缩小了寻找影响力节点的范围,有效提高了算法的效率。目前基于社区结构的影响力最大化算法研究仍存在忽略用户消极关系和用户成本等问题。为此,本文根据不同的用户场景对影响力最大化问题进行研究。具体研究
学位
腐殖酸含量是评价堆肥腐熟度和产品肥效的重要指标,快速堆肥腐殖化效率及产品腐熟度低限制了堆肥产业的发展,促进堆肥中腐殖酸形成及其稳定化被证明是提高堆肥腐殖化程度及产品质量的有效手段.本文在介绍堆肥腐殖酸形成机制的基础上,重点综述了工艺参数优化、外源添加剂等促进堆肥腐殖化进程的有效方法,系统地总结了各调控手段对堆肥腐殖酸形成过程的影响机理,旨在为堆肥快速腐熟调控技术发展提供理论依据.由于堆肥过程是不断
期刊
美国大都会艺术博物馆藏“倪瓒《秋林野兴图》”被普遍认为是倪瓒的真迹。本人认为,书画鉴定是对书画本身的鉴定,只要是书法和绘画存在作伪痕迹,不必要对印章进行鉴定(本人是专硕,文字所限),就能揭示这幅作品是赝品。因此,笔者抓住此图书画存在作伪的三大明显痕迹进行鉴定,从而揭示这幅画是赝品。这三大作伪的明显痕迹分别是:画中画了人物,建筑、坡石、树木、水纹绘画风格与倪瓒绘画风格迥然不同,“款识”不符合倪瓒书写
学位
随着5G技术的兴起和Wi Fi技术的普及,越来越多的研究者开始研究如何使用Wi Fi信号进行活动识别。由于传统的机器学习方式需要使用大量的手工方式提取特征,且易受环境的影响,而单一的神经网络只能提取特定领域的特征,面临着识别准确率的瓶颈和鲁棒性差等问题。本文提出了一种新型的网络架构,它结合了卷积神经网络和双向长短期记忆网络的优点,提高了活动识别的性能。本文主要研究内容如下。首先,由于日常活动都是连
学位
针对市政污泥与秸秆混合在传统堆肥过程中温室气体排放量与氮损失量较高的问题,本研究采用玉米秸秆生物炭(CSB)与煤矸石基沸石(ZL)联合堆肥,为减少堆肥过程中CH4、NH3、N2O气体排放.将10%的CSB与0%、10%、20%、30%的ZL混合(百分比为添加剂与污泥秸秆混合物质量之比),同时,无添加剂作为对照组,结果表明,与对照组相比,CSB与ZL联合添加(记为10%CSB+ZL)显著提高了堆肥过
期刊
有机化学知识是中学化学的重要组成部分,其物质种类繁多、组成复杂、空间结构多变、表达方法独特,这为有机化学的学习带来较大的困难。该部分知识的学习还容易受到无机化学中强调物质性质而轻视物质结构的思维定势影响,导致学生难以适应教学。本研究旨在对高中生有机化学学习能力进行测评研究,调查分析其现状,并围绕以下问题展开研究和讨论。(1)如何界定高中生有机化学学习能力的内涵及测评要素?(2)如何有效测量高中生有
学位
目的:分析伐昔洛韦联合干扰素α-2b凝胶治疗生殖器疱疹的临床效果及对免疫指标的影响。方法:选取2018年10月-2019年11月黄冈市中心医院与蕲春县人民医院收治的159例生殖器疱疹患者,随机法分为联合组、对照1组、对照2组,各53例。联合组给予伐昔洛韦联合干扰素α-2b凝胶治疗,对照1组服用伐昔洛韦治疗,对照2组涂抹干扰素α-2b凝胶治疗,记录并对比三组治疗后的临床疗效、免疫指标、复发情况。结果
期刊