随着短视频、Vlog的发展,普通用户对视频编辑的需求不断升级。视频填充与修复是视频编辑的重要功能,但现有的图像/视频填充工具使用门槛高、处理效率低。近年来,深度学习在图像分类、识别、分割和生成领域都取得了突破性进展。基于深度学习,本文提出了轻量的金字塔采样图像填充网络并利用时序位移对视频时序特征建模,实现了快速高效的视频填充方法。本文主要创新如下:1)以现有的门控卷积网络为基础,从三个方面进行优化。使用金字塔采样对空洞门控卷积层进行优化,提出了由粗到细的金字塔上采样网络(Pyramid-Upsample Net,PUNet),与门控卷积网络相比,使用更少的运算量和更多的参数进行特征学习,同时可以融合不同深度特征;提出了整体、逐对、逐点三种维度的损失函数,可以提升填充结果的局部一致性以及全局一致性;将知识蒸馏引入图像填充,设计了多层次的自蒸馏方法。实验表明,PUNet可以22%的推理时间达到与门控卷积网络相近的图像填充效果。2)以PUNet为基础,融入视频时序特征以提升视频填充结果的时序一致性。将时序位移与门控卷积相结合设计了门控时序位移卷积(Gated Temporal Shift Conv,GTSConv)以实现时空特征融合,使用该卷积替换门控卷积,提出了时序位移金字塔上采样网络(Temporal Shift PUNet,TS-PUNet)。与只考虑空间特征的PUNet相比,同时学习视频时空特征的TS-PUNet,在无需引入额外参数和额外运算的情况下能够以相同的推理时间实现更好的填充效果。