【摘 要】
:
随着视频生产的急剧增加,对于视频理解技术及其应用落地的需求日益迫切。视频分类需要基于其可用的多模态数据识别视频中涉及的对象、动作或者事件,是视频理解的基础任务之一。目前视频分类的主要研究方法就是构建基于多模态特征融合的网络。因此,为了捕获多模态融合时异构数据之间的交互作用,本文以音视频模态融合的视频分类方法为主要研究内容,并将算法应用在实际的系统中,理论与实践相结合。主要研究贡献如下:首先改进基于
论文部分内容阅读
随着视频生产的急剧增加,对于视频理解技术及其应用落地的需求日益迫切。视频分类需要基于其可用的多模态数据识别视频中涉及的对象、动作或者事件,是视频理解的基础任务之一。目前视频分类的主要研究方法就是构建基于多模态特征融合的网络。因此,为了捕获多模态融合时异构数据之间的交互作用,本文以音视频模态融合的视频分类方法为主要研究内容,并将算法应用在实际的系统中,理论与实践相结合。主要研究贡献如下:首先改进基于低秩的多模态融合方法LMF,计算融合过程中视频特征和音频特征的注意力权重,然后将其加权到多模态特征,从而得到具有模态注意力的帧级融合特征。同时结合基于注意力的特征聚类算法Next VLAD将帧级特征聚合成视频级特征,并使用压缩激励上下文门控单元抑制无用的信息,放大有价值的特征。通过多组实验表明该方法相比于简单的融合方法能够捕捉到不同模态间的交互作用,在大规模视频数据集Kinetics400的验证集上取得87.8%的准确率。其次将视觉问答领域的多模态分解双线性池化方法MFB应用在帧级的多模态特征融合,在此基础上引入并行计算的自注意力机制,将其应用于输入模态之间以改善不同模态的交互作用。该方法在Kinetics400验证集上达到88.7%的准确率,与其他方法对比证明本文的方法均优于其他基于卷积神经网络的视频分类模型。最后使用算法在数据集上训练的模型,设计了基于Flask和Bootstrap框架的短视频分类平台,实现了短视频类型标签生成的自动化流程。
其他文献
乡村独特的生产形态、生活风情和田园风光成为现阶段一种旅游业态。把田园风光、秀美乡村变为振兴乡村经济的发展之路有重大意义。文化创意产品的发展也体现在方方面面,文化创意产品的文化传播能力和多样性吸引了社会的广泛关注。本文阐述了乡村旅游的发展和文创产品的发展现状,从文创产品的开发设计、色彩和商品之间的关系,文创产品系列化包装等方面进行分析、探索和实践,从实践中探索乡村旅游文创产品的开发和宣传等工作。为文
新一代视频编解码标准VVC使用了新颖的QTMT结构,相较上一代标准HEVC新增了二叉树划分和三叉树划分,而全景视频由于其视角原因包含了大量的数据,往往具有很大的分辨率,但这也导致全景视频编码时的时间复杂度骤升。为此,提出一种基于场景的VVC帧内快速划分算法,将待编码视频划分成不同的场景。此外使用SVM工具,为每个场景设置自己的SVM分类器,经过分类器分类后将冗余的划分模式剔除掉,从而优化编码器的时
目的 通过采集云南昆明地区人群上颌前牙颜色信息,分析变化规律,为临床美学修复体比色提供参考依据。方法 采用VITA Easyshade Advance4.0无线电脑比色仪对云南昆明地区20~89岁300名人群,按年龄、牙位进行分组,共计1 800颗上前牙(左右对称中切牙、侧切牙、尖牙),测量每颗牙中1/3区域的L*a*b*值,用Spss24.0软件对其进行统计学分析。结果 (1)左右对称同名牙间L
VR技术作为一种先进技术在各个领域的应用越来越广泛,然而在中职院校物流专业教学中应用较少。中职院校物流专业以培养实践型、应用型人才为主要目标,希望通过更多的实践操作和现实演练不断提升学生的实践能力,最终达到增强中职院校学生的就业竞争力和解决企业生产运营中实际问题的目的。本文以湖南工贸技师学院(以下简称学院)为例,探讨在现有教学条件下,中职院校物流专业如何应用VR技术进行教学,同时重点分析应用VR技
目的:探讨葛根牵正汤联合星状神经节阻滞治疗面神经炎的临床疗效。方法:选取2019年11月-2020年11月余干仁和医院中医科住院面神经炎患者100例,随机分为对照组和治疗组,各50例,对照组采用常规针灸治疗,治疗组在对照组的基础上采用葛根牵正汤联合星状神经节阻滞治疗,干预前后两组患者均采用面神经功能House-Brackmannn(H-B)分级、面神经功能简易评定量表评分、肌电图检查及总有效率进行
目的:分析心理干预在肝癌手术后护理中的应用及对患者生活质量的影响。方法:本次研究所选择的时间在2018年12月至2019年12月,研究对象是72例肝癌患者,所有患者都接受手术进行治疗并且在术后进行护理。给予患者两种不同的护理方式,主要分为观察组和对照组,将常规护理应用在对照组中,观察组在此基础上联合心理干预,对比两组患者的护理效果、不良反应发生率以及生活质量、情绪状态进行评分及护理依从性、护理满意
西医学习中医(以下简称“西学中”)培训作为中医药人才培养的形式之一,使西医临床医生能够运用中医、中西医结合方法看病治病,不仅让群众享受更优质的医疗服务,也能为国家储备一批中西医结合专家,推动中医药学术的发展,为发扬中医学做出新的贡献。此文以北京中西医结合学会开展基层医院“西学中”人才培养的实践为例,介绍了“西学中”培训班的培训方案和成效,并探讨了实践过程的问题与思考。
铸牢中华民族共同体意识是新时代民族工作的主线,“如何铸牢”“采取何种方法和路径铸牢”是理论和实践都必须回答的核心命题。近年来,学术界围绕这一核心命题展开了广泛而又深入的研究,取得了丰硕成果。较在梳理既有文献的基础上,总结出学界探讨铸牢中华民族共同体意识的十大路径,包括历史路径、当代路径、经济路径、法治路径、思想路径、文化路径、心理路径、社会路径、制度路径和专政路径。同时,针对既有研究在内容和方法等
<正>在如今的社会背景下,心理健康教育受到了越来越多的关注。但是就目前学生的心理健康教育状况看,还存在着诸多问题。语文作为阶段的重点学科,教师要借由语文阅读教学渗透心理健康教育,以提升学生的心理素质,健全他们的人格,让学生能以乐观积极向上的态度面对生活和学习。心理健康教育的最终目的是让学生具备良好的心理素质,挖掘学生的潜能,让学生形成积极健康的性格和品质。语文阅读教学因其自身的特点,为渗透心理健康
四氢嘧啶是一种保护微生物免受高盐、高渗透压和紫外线辐射等恶劣环境的环状氨基酸衍生物。作为微生物重要的次级代谢产物,四氢嘧啶在生物保护、化妆品、临床医学、环境修复和新能源应用等领域具有广阔的应用前景。本文综述了四氢嘧啶生物合成途径与降解途径、生物合成方法、生物学功能及应用、分离纯化工艺,并对四氢嘧啶开发和工业化应用进行展望。