基于深度学习的斯诺克视频解说自动生成研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:zap2050zap
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的不断发展促进了视频网站的繁荣。越来越多的人喜欢在视频网站上自主地选择自己喜欢的节目观看。体育视频由于其竞技性、娱乐性、受众广等特点在网络视频版图中占据重要的一块。但相比于电影、电视剧等类型的视频,体育视频,尤其是策略型体育视频,往往因其专业性而有较高的观看门槛。很显然,利用自然语言处理技术为体育视频自动地生成赛事解说,不仅可以为普通用户提供专业帮助,增添视频观看乐趣,而且可以为体育视频网站吸引流量,具有广泛的应用前景和理论价值。近年来随着深度学习的发展,图像及视频理解和自然语言文本生成都取得了很大的进步,视频描述生成也取得了一定的进展。但是面向视频解说生成的研究较少,而且,相比于视频描述,体育视频的解说有其特殊性:1)体育视频的解说相比于视频描述的生成空间更发散,涉及的话题更多样。每段视频可能对应的“正确”文本不仅在表达上不唯一,在语义上也存在诸多变化;2)体育视频的解说相比于开放领域的视频描述更具专业性,特有的专业名词的表达需要先验知识;3)相比于视频描述,体育视频的解说更复杂,需要结合上下文进行逻辑上的推断,这在斯诺克、九球等策略型体育运动视频解说上尤为明显。这些特性给体育视频解说的自动生成带来了巨大的挑战。本文以斯诺克视频解说为切入点,对策略型体育视频解说的自动生成展开初步探索。具体而言,本文的主要工作有:(1)构建了第一个中文斯诺克视频-解说数据集。数据集包含截取的单杆斯诺克视频片段,以及对应的专业人士的中文解说。进一步地对斯诺克解说的类型进行了分析和标注。中文斯诺克视频解说数据集为后续的研究提供数据基础。(2)针对斯诺克视频解说的自动生成展开研究,提出了一个解说自动生成系统框架。框架由视觉特征抽取模块、策略预测模块和解说生成模块构成。在此框架下,研究多种斯诺克视频片段的特征表示,构建斯诺克策略预测模型,并提出了两种斯诺克解说自动生成方法——基于M-H采样的有约束解说生成方法和基于深度学习的端到端解说生成方法。多种视觉特征表示为解说生成提供了不同维度的输入;策略预测模型使得生成的解说不局限于客观的描述,而能够对场上的情况展开一定的预测;基于M-H采样的有约束解说生成方法能够在语义关键词的基础上产生满足多种约束且多样的解说,而基于深度学习的端到端解说生成方法对语义特征和视觉特征展开联合学习,减轻解说生成空间开放带来的训练困难。实验结果表明,本文提出的斯诺克视频解说生成框架,能够为单杆斯诺克视频生成较为流利、合理的解说,并优于若干基线方法。(3)实现了一个基于B/S架构的斯诺克视频解说自动生成Web演示程序,展示斯诺克视频解说生成过程中的一些可视化结果,以及不同算法的解说生成结果间的对比。演示程序能够帮助研究人员直观地了解、分析斯诺克解说生成。
其他文献
面对建筑设计行业产能过剩、国内经济转型和互联网浪潮兴起的新时代,当代中国建筑学教育所沿袭的旧体系已难以为继。在这一背景下,建筑设计教学作为建筑学教育的核心环节,正在经历着教学理念的转型:教学模式从传统的知识的单向输出逐渐转型为基于交往和互动的共同探索,越来越提倡教师作为引导者,学生作为中心的“自主学习”、“协作学习”、“互动学习”。在此基础上,作为教学场所的建筑教学空间应该做出怎样的调整来适应这种
磨煤机是燃煤机组的重要辅机设备,其运行状况将直接影响整个电站系统的安全性和经济性。此外,在长期的煤粉磨制过程中,还存在设备安全、零部件老化磨损等问题,导致磨煤机性能退化甚至发生故障,制约着电力系统安全生产运行。论文以直吹式制粉系统中应用最为广泛的中速磨煤机为研究对象,开展磨煤机状态监测与性能退化研究,主要研究内容包括:1、以磨煤机机理特性为依据,对某660 MW燃煤机组的中速磨煤机进行灰箱建模,通
火电机组作为电力最主要生产力,其控制效果直接影响到能源的利用效率与经济效益。传统的热工过程控制方法面临建模不精确,控制策略设计困难,在线求解计算量大等难题。考虑到深度强化学习无模型,无需在线求解的特点,本文尝试将深度强化学习算法应用于热工过程控制,提出了基于深度强化学习的热工过程应用框架与基本应用原则,并给出了基于深度强化学习热工过程控制系统设计的一般步骤,同时根据多变量热工过程进一步完善了基于深
近年来,国家对燃煤电厂污染物排放的标准日趋严格,燃煤电厂SCR(selective catalytic reduction)脱硝系统的控制优化研究显得尤为重要。SCR脱硝系统是一个典型的存在输入输出约束的大迟延非线性对象。由于模型预测控制(model predictive control,MPC)可以直接处理过程约束和大迟延特性,并具有内在的容错和隐式解耦能力,在SCR脱硝系统的控制中具有广阔的应
近年来,我国可再生能源发展步伐加快,但是风、光和水等资源的波动性与用电需求增长放缓等原因,造成了严重的弃风、弃光和弃水现象,导致可再生能源大量浪费和对化石燃料的依赖。电转气技术,借助冗余新能源电能电解水生成氢气,然后氢气与二氧化碳发生甲烷化反应生产可大量储存的合成天然气,其技术核心是甲烷化。目前商业化的甲烷化技术均是采用固定床反应器和配套的催化剂,为了控制反应器的温升,通常需要采用产品气再循环稀释
分布式综合能源系统是电力系统的一个新的发展和研究方向,在能源的高效利用及灵活调度方面具有极大的潜能和优势,是我国缓解能源紧缺和改善能源结构单一的重要途径之一。本文设计了一个由微燃机冷电联供系统、光伏电池、质子交换膜燃料电池、蓄电池以及电制冷机组成的分布式综合能源系统,研究工作围绕其动态建模和协同控制展开,即通过机理建模和试验建模方法,在MATLAB/Simulink平台搭建各子系统的动态模型,并为
以核能为动力源的舰船具有功率大、续航力强和运行特性稳定等优点,研究并发展大型船用核动力系统对我国的国防和国民经济发展极具战略意义。但目前对大型船用核动力装置建模研究及动态特性认知仍然较少,对控制系统的研究则主要停留在局部控制和基于传统PID控制器的简单协调问题上。因此本文以大型船用核动力装置中的单堆双机核动力系统为研究对象,开展建模仿真、特性模拟和基于先进控制算法的控制系统设计等研究工作。本文首先
在Web应用演化过程中,因某些图形化用户接口(GUI)界面的结构和内容的变化,使得部分测试用例不能直接运行,需要经过一定程度的修复才能使用。现有Web应用测试用例修复方法大都采用简单查找和匹配旧页面中具有相同或相似属性的页面元素的方法进行修复,因未考虑待测功能流程以及页面元素的语义信息,存在修复困难、修复率低下等问题。针对上述问题,通过融合相关语义信息,本文提出了一种基于智能搜索的自动化修复方法,
研究目的随着社会经济的快速发展和生活方式的不断改变,糖尿病的患病率不断上升,已成为继心脑血管疾病(Cardiocerebrovascular Disease,CVD)、恶性肿瘤之后,又一严重威胁居民健康和社会发展的慢性非传染性疾病。通过对江苏省社区管理的2型糖尿病(Type 2 diabetes mellitus,T2DM)患者进行前瞻性随访,分析肥胖指标、血糖控制水平与T2DM患者全死因及重点疾
城市快速道路是城市道路交通系统的重要组成部分,对保证城市内车辆通行的快速、便捷起着重要作用。因此,提高快速路车辆通行效率可以大大提高城市的交通网络系统运行效率。由于快速路匝道车辆的汇入与主线通行车辆产生大量交织,引发合流区的交通流紊乱,主线交通流自由换道现象大量增加,车辆运行速度降低,路段通行效率大大下降。基于以上现象,本文利用车辆时空轨迹数据,以快速路合流区的自由换道行为为主要研究目标,分析合流