视频智能填充的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:J082214
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着短视频、Vlog的发展,普通用户对视频编辑的需求不断升级。视频填充与修复是视频编辑的重要功能,但现有的图像/视频填充工具使用门槛高、处理效率低。近年来,深度学习在图像分类、识别、分割和生成领域都取得了突破性进展。基于深度学习,本文提出了轻量的金字塔采样图像填充网络并利用时序位移对视频时序特征建模,实现了快速高效的视频填充方法。本文主要创新如下:1)以现有的门控卷积网络为基础,从三个方面进行优化。使用金字塔采样对空洞门控卷积层进行优化,提出了由粗到细的金字塔上采样网络(Pyramid-Upsample Net,PUNet),与门控卷积网络相比,使用更少的运算量和更多的参数进行特征学习,同时可以融合不同深度特征;提出了整体、逐对、逐点三种维度的损失函数,可以提升填充结果的局部一致性以及全局一致性;将知识蒸馏引入图像填充,设计了多层次的自蒸馏方法。实验表明,PUNet可以22%的推理时间达到与门控卷积网络相近的图像填充效果。2)以PUNet为基础,融入视频时序特征以提升视频填充结果的时序一致性。将时序位移与门控卷积相结合设计了门控时序位移卷积(Gated Temporal Shift Conv,GTSConv)以实现时空特征融合,使用该卷积替换门控卷积,提出了时序位移金字塔上采样网络(Temporal Shift PUNet,TS-PUNet)。与只考虑空间特征的PUNet相比,同时学习视频时空特征的TS-PUNet,在无需引入额外参数和额外运算的情况下能够以相同的推理时间实现更好的填充效果。
其他文献
近年来,随着生活水平的安全及环保的意识的提高,人们对自身健康和生活环境的要求日益增加,监控生活和生产场所中的各种有毒有害、易燃易爆气体已经迫在眉睫,且监测范围已经渗
目的:探讨乳腺恶性血液病的病理分型、患者的临床特征及预后。方法:回顾性分析2014年1月至2019年1月空军军医大学西京医院收治的33例乳腺恶性血液病患者的病理分型、临床特征
人工智能作为20世纪以来发展极为迅速的一个学科领域,其对社会的影响也越来越引起人们的重视。本文试图从STS的角度着重说明人工智能对人类的经济利益、社会和文化生活等方面
(接上期)  赵云·奚琴神  奚琴——沧桑之音,深情表达赵云的气魄与仁善,英雄内在气质,仁义与慈悲,深邃沧桑,深情流露。谭盾亲自试奏的那把奚琴,外形灵感源于敦煌壁画飞天奚琴图。  奚琴作为一件便于携带,酷似人声的乐器,大约于隋唐时期传入中原。据考证,其发源地为我国古代东北地区的一个少数民族——奚族。奚琴,故名思意即为奚部族最早使用的琴。  奚琴在宋代宫廷乐队与民间市井文化中均得到长足发展。在宫廷,
定向凝固共晶自生复合氧化物陶瓷以其良好的高温强度、抗氧化性、高温结构稳定性以及低的裂纹敏感性,在择优生长方向上表现出优异的室温和高温力学性能,因而日益受到人们的
【摘要】哈维从全球空间、自然空间和城市空间对资本主义社会空间失义现象的三向度批判,可成为分析新时代中国空间正义的理论起点和理论维度;习近平总书记正是以中国面对的三重
报纸
背景和目的尖锐湿疣(condyloma acuminatum,CA)是临床中常见的性传播疾病(sexually transmitted disease,STD)之一,由人乳头瘤病毒(human papilloma virus,HPV)感染引起,其中
合成纤维和棉纤维是纺织品中应用最广的材料,但易沾染细菌,特别是医院等大型公共场所清洁用纺织品,其若出现病原体污染便会成为疾病传播的载体。因此赋予纺织品抗菌性以杀灭
伴随着5G时代的到来,信息技术不断发展进步,小学数学用网络资源在线教育已经成为大势所趋,它不仅是顺应时代发展步伐的科技教育,也是师生创新学习的科技乐园。然而,目前关于
张大春在台湾文学史上的地位不容忽视。从一九七零年代末崭露头角迄今,张大春笔耕不辍四十余年,完成了一篇篇形式新颖、内容丰富、技巧精湛的小说篇章,并发表了许多颇有见地