融合领域知识和深度特征的篮球比赛视频语义事件分析

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:bassjhnn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频信息的快速膨胀和计算机能力的不断强大,基于深度学习的视频分析已经在大规模的视频数据中取得较好的成绩。目前视频研究多数面向监控视频,集中于单人/多人独立活动视频。现实生活尤其在团队体育比赛中,如篮球、足球等,多为多人协作视频,这类视频存在背景复杂、目标运动快速、目标间相互遮挡严重等问题,近年来多人协作视频分析成为视频分析领域一个极具挑战性的任务。论文针对多人视频中的篮球比赛视频进行事件分类研究。论文主要工作如下:1.提出了一种融合领域知识与全局群体运动模式的事件分类方法。作为一种多人协作运动,篮球比赛中的语义事件表达为两队球员之间的对抗模式,此对抗模式可以表达为群体运动模式。另一方面,相同语义事件在赛事转播中用的镜头表现手法一般都很相似。因此本文提取全局和群体运动特征来表达语义事件。一个完整的篮球比赛事件可以分为三个阶段,分别是事件准备阶段、事件发生阶段、事件结束阶段。通过分析同一事件不同视频段的分类能力,发现不同视频段针对不同类型的分类任务有效,也提出了新的数据集NCAA+。基于这一发现,首先提出基于全局与群体运动模式的2个阶段(5类事件的粗分类以及2类事件的细分类)的事件分类方法,其中全局与群体运动模式通过光流来表达。两个分类算法的框架都是基于CNN及LSTM分别提取全局群体运动模式的空间特征以及时序特征进行分类。事件结束阶段的视频帧基于空间特征实现成功/失败状态的预测。最后,综合2阶段事件分类结果与成功/失败预测结果实现最终的篮球事件分类。对比实验结果表明提出方法对篮球事件的分类准确率有很大提升。2.基于深度学习实现球员的检测、分割以及姿态估计。通过统计发现,不同事件中球员的姿态变化呈现一定规律,本文针对个体球员进行进一步分析。首先基于SSD检测球员,提出了基于超像素的FCN-CNN球员分割算法,滤除掉球员周围复杂背景,更有利于后续姿态估计。最后通过深度学习卷积神经网络实现球员姿态分类估计。3.探索了融合多种特征的篮球视频事件分析方法。首先将全局群体运动模式的特征与球员姿态统计特征进行融合,然后通过LSTM实现融合特征在时域的表达,从而实现篮球事件的分类。实验结果表明多特征融合后的方法比基于单一全局群体运动特征的方法分类效果更好。4.实现篮球比赛视频分析系统。在Linux操作系统,基于MATLAB平台实现一个完整的篮球事件分类系统。
其他文献
基于儿童希望感量表对湖南省10个县30所学校2013名农村留守儿童的实测数据的研究表明:中国农村留守儿童就其希望感而言,明显存在“高希望组”、“高希望-畏难组”、“中等希望
国家教育权是指国家管理教育的权力。在美国,国家教育权的配置方式具有自身的特点。从纵向维度看:美国国家教育权属于各州的保留权力,同时联邦政府依据宪法规定也可以通过拨
苗木是造林的基础,特别是发展经济林和建优质高效果园,选购苗木直接关系到果苗的成活、长势、产量及经济效益。因此,在移植、选择及病害的防治方法时应注意几点事项。 Seedl
期刊
为了给RFID手持终端设计一个良好的人机交互界面,本文从手持终端的具体使用场景出发,采用ARM 32位Cortex-M4内核的STM32F407ZGT6处理器和FreeRTOS操作系统,结合在低端嵌入式
本文结合江阴职业技术学院在产教融合实施过程中的实际情况,阐明产教融合对发展高等职业教育的意义,对实施中的一些探索与尝试作了介绍。同时指出产教融合现存的一些问题,指
在日本,人们有各种证件,员工证、学生证、保险证、驾驶执照等等,但就是没有全国统一的有法律意义的身份证。日本人没有身份证的最大原因可能在于他们很少迁移这个特性上。绝
期刊
【正】 宪法是法律体系中的一个部门,一个种类。它和其他法律一样,都是由国家制定并用国家强制力保证执行的行为规则。但是,在法律地位上,宪法不同于其他法律。宪法是国家的
通用航空是民用航空重要和不可分割的组成部分,通用航空产业对国家的经济建设和社会发展有重要的作用.叙述了通用飞机航电系统的架构,分析了其设计、试验、维护和适航审定特
林业资源型城市是指利用该地区森林资源,以林业加工为主导产业,在森林资源开发、生产和管理活动中投入大量劳动力的城市。林业资源型城市对我国经济的发展具有重要的作用,为我国的经济发展和现代化建设提供充足的林木原材料。但是,随着林业资源的不断减少、经济体制的变革、开采技术的更新等因素导致林业资源型产业的发展面临困境。同时,由于林业资源型城市政府在市场调节、财税支持、教育投入力度、基础设施建设等方面的政府行
以房地产和金融业为代表的虚拟经济繁荣使得人们不断反思虚拟经济和实体经济的关系。从实体经济与虚拟经济的关系、资本配置效率的影响因素、经济“虚实背离”对实体经济资本