面向AI剪辑的景别识别和运镜分类算法研究

来源 :中国传媒大学 | 被引量 : 0次 | 上传用户:tiyuanzhurenzsh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息高速产出的时代,媒体行业对视频产品的需求与日俱增,视频生产的“竞速”愈演愈烈,视频剪辑开始走向智能化。智能视频剪辑将人工智能应用于媒体生产。机器要像人类剪辑师一样理解视频内容、用各种视频属性和要素来组织视听语言。景别和运镜方式是视频的两个关键属性,是镜头衔接重要的参考因素。本文对景别和运镜分类算法进行进一步研究和优化,提升算法的准确性和效率。具体工作分为以下三点:设计实验分析研究了CNN中池化层与位置偏见的关系。景别与画面中的人体部位以及这些部位的高度和占比有关,因此景别分类同时依赖图像位置特征和非位置特征。为探究CNN分类图像时所依赖特征的倾向性,并调整这一倾向使之适应景别分类任务,开展了CNN中池化层与位置偏见关系探究的实验。实验通过改变池化目标特征尺寸,成功地改变了CNN分类图片时所依据的特征,并找到了特征偏见与池化的一般关系。提出基于纵横池化(VHpooling)的任意宽高比景别分类算法,对图像的垂直、水平位置特征和非位置特征进行分别的过滤和融合,缓解位置偏见,提升景别分类性能。实验表明,基于VHpooling的CNN在本文创建的VSS多宽高比景别数据集上取得了94.24%的准确率,在各个宽高比的测试集上均优于现有算法。景别识别系统中的后处理模块,支持多样化的景别结果输出,提升识别结果在应用层面的有效性。提出基于旋转序列卷积(RO-Text CNN)的运镜分类网络MOVE-Net。依据相邻帧的光流图生成非均匀1D幅度直方图和分块1D角度直方图后,用轻量化的RO-Text CNN模块进一步处理角度直方图序列,多尺度地提取角度直方图中的模板匹配特征,提升抗前景干扰的能力。MOVE-Net在本文创建的MOVE-SET运镜数据集上达到95.3%的准确率和0.9385的F1值,优于现有的基于图像分割的运镜分类算法。基于MOVE-Net的镜头级别运镜分类网络在Movie Shot数据集上以1.5倍效率与SGNet的评价指标持平。所提出的景别识别和运镜分类算法均具有较小的运算复杂度和优异的分类识别性能,满足在智能视频剪辑中应用的条件。
其他文献
“蜉蝣朝生而暮死,而尽其乐”,被称为“蜉蝣艺术”的涂鸦是易逝的。涂鸦写手们对城市空间内高难度、高风险甚至非法墙面的偏爱,致使涂鸦的创作过程及后续保存都充满了不确定性。涂鸦以不法之名进入街头,以不被官方允许的身份出现在城市空间,其文化内核与所处的媒介——“墙”紧密相连。但同时,涂鸦的易逝性要求涂鸦必须经由媒介转换才得以长久保存,可其文化的时间意涵又会在媒介转换中受到技术时间逻辑的影响,继而引发“这是
学位
当前,一些国际媒体频繁制造涉华虚假新闻,对我国国家形象和团结稳定带来挑战。在此背景下,亟需相关研究厘清其国际媒体涉华虚假新闻特征并提出相对应的应对策略。为此,本文以定性比较分析(QCA)为研究方法,以近年来具有代表性的涉华虚假新闻为研究对象,分析其产生的机制路径与传播规律,为我国应对提供针对性参考。本研究确定了媒体属性、事件属性和内容属性三类条件作为解释结果的变量,下属媒体所属国、报道主题、报道议
学位
在中国经济发展、国际传播加强的背景下,近年许多央企在海外社交媒体平台设立账号开展传播活动,其传播行为不仅关乎企业形象,还承载了一定的国家形象。本文将央企作为研究对象,研究其海外社交媒体传播的整体现状,以及其传播行为承载了何种形象。本文采用定量与定性相结合的实证研究方法,以内容分析法为主、案例分析法为辅,抓取央企账号一年中发布的帖文内容,进行多维度编码分析。编码框架受功能视角下社交媒体传播的ICA框
学位
文章旨在进一步探明生物农药32000 IU·mg-1苏云金杆菌可湿性粉剂防控水稻二化螟的药效,筛选其适宜用量。用32000 IU·mg-1苏云金杆菌可湿性粉剂作试验药剂,化学农药20%氯虫苯甲酰胺悬浮剂、生物农药400亿个·g-1球孢白僵菌水分散粒剂作对照药剂对水稻二化螟进行防治。结果表明,所选用的生物药剂苏云金杆菌3个浓度(1500 g·hm-2、2250 g·hm-2、3000 g·hm-2)
期刊
近年来,智能手机与农村闲暇生活的关系逐渐紧密,短小精悍的短视频成为了数字时代农村文化生活的新风尚,也成为了农民休闲娱乐的新选择。乡村闲暇中的新媒介实践活动不断涌现,但媒介对闲暇时间以及闲暇活动的广泛影响并未引起足够的关注,仅在个别量化研究中以数据方式出现。本研究从农民热衷于观看短视频的现象出发,选取最能反映生活质量的闲暇时间作为研究基点,采用田野调查与深度访谈相结合的方式收集资料,以“嵌入”的动态
学位
气候问题已成为全人类共同关注的重要议题。在国际气候治理变局中,中国逐步从跟随者走向引领者,为全球气候治理提供重要的中国方案。碳减排战略是我国气候治理的重要战略之一,为全球提供了重要行动范式。本文基于网络议程设置的理论框架,将《中国日报》推特平台2010年—2020年的816条碳减排报道以及其对应推文下的1740条评论作为研究对象,对其在社交媒体平台议题建构形式以及用户评论情感进行分析,并探讨二者之
学位
以萎缩芽胞杆菌(Bacillus atrophaeus)GJW2-1为试验材料,研制一种对党参灰霉病具有良好防治效果的可湿性粉剂。采用单因素法和正交试验法筛选出对菌株GJW2-1活性影响最小的载体和助剂及其配比,并对其稳定性和盆栽防效进行评价。结果表明,萎缩芽胞杆菌GJW2-1可湿性粉剂最佳配方为载体高岭土35%,分散剂羧甲基纤维素钠4%,紫外保护剂β-环糊精3%,湿润剂十二烷基苯磺酸钠10%。该
期刊
苹果无袋化栽培,能够有效解决套袋栽培在资源投入高、品质易下降等问题。因此,如何正确分析苹果无袋化栽培技术,已经成为领域内的主要研究方向。简要阐述苹果无袋化栽培的需求影响明显、技术提升空间大等方面的现状,以及如何通过构建良好环境、选择优质品种、重视种植环节实现对苹果无袋化栽培主要内容的合理研究,以期能够为大力推广苹果无袋化栽培技术打好基础。
期刊
超表面是一种由周期性排布的亚波长尺寸单元构成的人工电磁结构,通过对结构的设计和调整,实现需要的电磁响应。传统的超表面设计方法一般基于设计经典的构型和人员的设计经验,针对电磁响应的目标,确定一个基本单元构造和结构参数的可变范围,通过电磁仿真软件的数值运算和参数扫描的优化算法,得到一个满足目标要求的超表面设计结构。这种设计方式需要耗费大量的优化和仿真时间,且自由度低,设计过程高度依赖设计人员的设计经验
学位
随着通信技术的发展,第五代通信技术(5G)已成为下一代数字技术的支柱。由于5G技术重塑了世界资源配置格局,并将对未来世界的局势产生深刻影响,其主导权因此成为国际社会各国激烈竞争的对象。在这场较量中,中国作为该领域新兴崛起力量,正撼动着美国在传统通信技术领域的霸主地位。2018年,随着中美贸易摩擦序幕的拉开,以时任总统特朗普为首的美国政府加大力度,以威胁国家安全为由,持续打压我国5G技术发展。近年来
学位