基于音视频融合的体育视频分析及精彩排序

被引量 : 6次 | 上传用户:plxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,基于内容的体育视频分析越来越受到人们的关注。研究者在结构分析和事件提取方面展开了大量的工作。但是这些工作有两个局限性,一是由于只研究有限种视频,例如足球、棒球,其通用性还有待提高;二是没有考虑诸如移动视频访问等新出现的应用中重要的可伸缩问题。本文在原有体育视频分析工作的基础上提出了针对周期性结构的得分型比赛(如网球、乒乓球)的通用分析框架。该框架的一个应用就是可伸缩视频精彩摘要,可以满足手机、掌上电脑等移动用户的需求。全文以网球和乒乓球运动为例子展开工作。该分析框架是在充分分析现有的多模态信息融合方法并结合球拍运动周期性特点后提出的,是一个基于音视频中层特征、领域规则、采用时序分析方法形成精彩排序的通用体育视频内容分析方法,兼具了复杂度低、直观性强、通用性好、上下文相关和有感知性这五项优点。具体来说本文的工作可以分为以下几点:首先,在体育视频中层特征提取上,本文采用了有监督的音频分类和无监督的场景聚类以适应通用性要求。体育视频中的声音鲁棒性比较好,有监督的音频分类可以做到针对一种比赛项目的通用性。当将这种方法扩展到其它比赛时,譬如跳水、棒球,采用有监督的方法也只需要少量的标注。对于视频来说,由于存在较大的场景差异,因此采用无监督的场景聚类,达到通用性的目的。本文提出了一种新的有效的场景聚类算法,无需先验知识,自动决定算法停止点。其次,利用多模态信息融合提取了比赛结构事件。本文在详细分析了球拍运动的周期性特点的基础上,提出了一种适合于周期性结构得分型比赛的通用规则,即时域投票策略。该方法首先将标识的音频关键字按照时域对齐分散到各个聚类,然后通过投票获得每个聚类的语义以便提取结构事件。该方法充分利用了音频关键字的丰富语义和无监督的场景的可靠边界做到结构事件的准确提取。再次,对于特定事件的提取,本文通过引入精彩排序技术解决其通用性问题。本文借助情感体验理论,设计了如下三个步骤。情感特征提取采用常用的音频、视频以及编辑手法三类特征;精彩等级的确定基于心理学实验生成事件的精彩程度事实,提出最优量化确定其数目;精彩模型的建立中提出了合理的主观感知评价标准,用于更真实地评价人的主观感知事实和计算精彩程度值之间的匹配程度,从而指导非线性精彩建模的建立。最后,基于精彩排序技术,本文最终开发了一种可伸缩视频精彩摘要原型系统。无论是实验的结果还是用户的反馈,该框架和系统在球拍运动分析上得到了令人满意的效果。
其他文献
名词化是英语中常见的语言现象,所以对名词化的研究硕果累累。本文从批评语言学角度对这一语言现象进行了系统的分析。批评语言学认为,语言并不像传统的语言学家说的那样客观
长期以来,在企业级应用开发的领域,J2EE一直是业界的核心工业标准之一——特别是在企业级的Web应用开发上,J2EE占据了该领域内的大部分市场。然而,时至今日,我们并没有在Sun
溃疡性结肠炎(Ulcerativee Colitis,UC)亦称慢性非特异性结肠炎,是一种病因不明的直肠和结肠慢性非特异性炎症性疾病,病变主要位于结肠的粘膜层和粘膜下层,是以炎症和溃疡为
时(tense)和体(aspect)是英语表示语法范畴的主要手段。根据Comrie(1976:14)的观点:“把实体与参照点联系起来的系统叫指示系统。时具有指示性,而体则不具有。”时特指时间轴上
在国家863计划项目“钕铁硼电机应用产品开发”及辽宁省科学技术计划项目“高性能钕铁硼永磁电机的研制”的资助下,对电动汽车用永磁同步电动机及其驱动系统进行了系统、深入
学校管理的任何环节都离不开对人的管理,那么,应该如何体现人本精神呢?文章从“以师为本”的管理理念,同等关注每一位教师,“思想第一”,“教育即生活”四个方面阐述了在学校管理中
本文通过研究红木8类19个树种的木材材色、光泽度、粗糙度参数,分析了红木类木材视觉物理量的分布特征;红木类木材光变色和热变色的一般规律;触觉物理量中表面粗糙度分布特征及
马克思与马尔库塞之间的理论差异与联系是马克思主义哲学研究的重要课题。一般认为马克思的历史唯物主义基本原理强调经济活动对人类历史的作用,并以此解释资本主义社会;马尔库
以"红贝蕾"番茄品种为试材,在100mmol/L NaCl盐胁迫下,用不同浓度GA3浸种,观察种子萌发情况,探讨盐胁迫下不同浓度GA3对番茄种子萌发的影响。结果表明:在50~100mg/L浓度范围内,随
2017年12月4日是第四个国家宪法日,也是陕西省第三个法治宣传周。按照陕西省委普法办的相关要求,陕西省财政厅决定在全省财政系统深入开展2017年"12.4"国家宪法日暨财政普法宣