论文部分内容阅读
近几年来,基于内容的体育视频分析越来越受到人们的关注。研究者在结构分析和事件提取方面展开了大量的工作。但是这些工作有两个局限性,一是由于只研究有限种视频,例如足球、棒球,其通用性还有待提高;二是没有考虑诸如移动视频访问等新出现的应用中重要的可伸缩问题。本文在原有体育视频分析工作的基础上提出了针对周期性结构的得分型比赛(如网球、乒乓球)的通用分析框架。该框架的一个应用就是可伸缩视频精彩摘要,可以满足手机、掌上电脑等移动用户的需求。全文以网球和乒乓球运动为例子展开工作。该分析框架是在充分分析现有的多模态信息融合方法并结合球拍运动周期性特点后提出的,是一个基于音视频中层特征、领域规则、采用时序分析方法形成精彩排序的通用体育视频内容分析方法,兼具了复杂度低、直观性强、通用性好、上下文相关和有感知性这五项优点。具体来说本文的工作可以分为以下几点:首先,在体育视频中层特征提取上,本文采用了有监督的音频分类和无监督的场景聚类以适应通用性要求。体育视频中的声音鲁棒性比较好,有监督的音频分类可以做到针对一种比赛项目的通用性。当将这种方法扩展到其它比赛时,譬如跳水、棒球,采用有监督的方法也只需要少量的标注。对于视频来说,由于存在较大的场景差异,因此采用无监督的场景聚类,达到通用性的目的。本文提出了一种新的有效的场景聚类算法,无需先验知识,自动决定算法停止点。其次,利用多模态信息融合提取了比赛结构事件。本文在详细分析了球拍运动的周期性特点的基础上,提出了一种适合于周期性结构得分型比赛的通用规则,即时域投票策略。该方法首先将标识的音频关键字按照时域对齐分散到各个聚类,然后通过投票获得每个聚类的语义以便提取结构事件。该方法充分利用了音频关键字的丰富语义和无监督的场景的可靠边界做到结构事件的准确提取。再次,对于特定事件的提取,本文通过引入精彩排序技术解决其通用性问题。本文借助情感体验理论,设计了如下三个步骤。情感特征提取采用常用的音频、视频以及编辑手法三类特征;精彩等级的确定基于心理学实验生成事件的精彩程度事实,提出最优量化确定其数目;精彩模型的建立中提出了合理的主观感知评价标准,用于更真实地评价人的主观感知事实和计算精彩程度值之间的匹配程度,从而指导非线性精彩建模的建立。最后,基于精彩排序技术,本文最终开发了一种可伸缩视频精彩摘要原型系统。无论是实验的结果还是用户的反馈,该框架和系统在球拍运动分析上得到了令人满意的效果。