论文部分内容阅读
随着视频信息的快速膨胀和计算机能力的不断强大,基于深度学习的视频分析已经在大规模的视频数据中取得较好的成绩。目前视频研究多数面向监控视频,集中于单人/多人独立活动视频。现实生活尤其在团队体育比赛中,如篮球、足球等,多为多人协作视频,这类视频存在背景复杂、目标运动快速、目标间相互遮挡严重等问题,近年来多人协作视频分析成为视频分析领域一个极具挑战性的任务。论文针对多人视频中的篮球比赛视频进行事件分类研究。论文主要工作如下:1.提出了一种融合领域知识与全局群体运动模式的事件分类方法。作为一种多人协作运动,篮球比赛中的语义事件表达为两队球员之间的对抗模式,此对抗模式可以表达为群体运动模式。另一方面,相同语义事件在赛事转播中用的镜头表现手法一般都很相似。因此本文提取全局和群体运动特征来表达语义事件。一个完整的篮球比赛事件可以分为三个阶段,分别是事件准备阶段、事件发生阶段、事件结束阶段。通过分析同一事件不同视频段的分类能力,发现不同视频段针对不同类型的分类任务有效,也提出了新的数据集NCAA+。基于这一发现,首先提出基于全局与群体运动模式的2个阶段(5类事件的粗分类以及2类事件的细分类)的事件分类方法,其中全局与群体运动模式通过光流来表达。两个分类算法的框架都是基于CNN及LSTM分别提取全局群体运动模式的空间特征以及时序特征进行分类。事件结束阶段的视频帧基于空间特征实现成功/失败状态的预测。最后,综合2阶段事件分类结果与成功/失败预测结果实现最终的篮球事件分类。对比实验结果表明提出方法对篮球事件的分类准确率有很大提升。2.基于深度学习实现球员的检测、分割以及姿态估计。通过统计发现,不同事件中球员的姿态变化呈现一定规律,本文针对个体球员进行进一步分析。首先基于SSD检测球员,提出了基于超像素的FCN-CNN球员分割算法,滤除掉球员周围复杂背景,更有利于后续姿态估计。最后通过深度学习卷积神经网络实现球员姿态分类估计。3.探索了融合多种特征的篮球视频事件分析方法。首先将全局群体运动模式的特征与球员姿态统计特征进行融合,然后通过LSTM实现融合特征在时域的表达,从而实现篮球事件的分类。实验结果表明多特征融合后的方法比基于单一全局群体运动特征的方法分类效果更好。4.实现篮球比赛视频分析系统。在Linux操作系统,基于MATLAB平台实现一个完整的篮球事件分类系统。