近年来深度学习技术在计算机视觉领域的成就令人瞩目,这和大规模标注数据集的面世密不可分。然而模型的性能对标注数据的规模、标注质量等非常敏感。从任务本身或者有限数据挖掘可用的先验知识并有效的融入网络结构设计、训练过程中,是缓解模型训练依赖数据的有效途径之一。本文就视频补全和伪装物体检测这两个计算机视觉任务,利用任务或数据的先验知识引导网络的设计和训练。视频补全利用视频中的可见部分,补全缺失的内容,使得补全后的视频看上去和谐、自然,广泛应用于视频修复、物体去除等任务中,但是视频补全方法难以在高频区域生成自然、清晰的纹理,而且训练耗时。伪装物体是指自身和环境纹理特别相似的物体,伪装物体检测旨在找到图像中的伪装物体,并提供像素级别的分割结果,有利于新物种寻找、医学图像中病灶分割等应用,然而目前的伪装物体的检测方法并没有显示利用纹理信息。为了提高伪装物体检测的准确度和视频补全的质量,本文探究任务先验在伪装物体检测中的作用以及如何从单个视频中学习补全缺失区域:1.伪装物体是指自身纹理和背景特别相似的物体。伪装物体检测最大的难点就是如何去辨别高度相似的纹理,进而提取感知纹理细微差异的特征。在伪装物体检测中,如果能够放大伪装物体和背景的纹理差异,任务难度将被大大降低。基于这一重要先验知识,本文对它进行建模并融入网络中。因为纹理本质上是基础视觉特征元素的共现情况表达,所以本文提取基础特征的格莱姆矩阵作为纹理特征,并分别对纹理特征和分割真值计算亲和矩阵,在提取的纹理特征上施加这两个亲和矩阵的距离损失,从而达到放大伪装物体和背景的纹理差异的目的。把这个纹理感知优化模块融入到检测网络中,使网络具备感知纹理细微差异的能力,从而引导网络准确检测到伪装物体的区域。为了保持结果边缘的一致性,本文进一步提出边缘一致性损失,强调伪装物体分割边缘的一致性。2.视频补全的目标是的在视频的缺失区域填补内容,使得填补后的视频具有时空一致性和理想的视觉效果。目前基于Transformer的方法在视频补全任务上取得了不错的效果,但是这类方法依赖于连续空间内的自注意机制,在高频区域容易输出过于模糊的纹理和时空不一致的结果。于是本文创新地提出了在离散隐空间中的Transformer,将补全问题转化为离散空间中的码字预测问题。首先我们先对每个视频学习编码器、解码器和码本,将视频表示为码本中码字构成的离散特征。然后基于前面学习到的离散表示,随机遮挡视频内容来训练Transformer预测遮挡区域的码字。Transformer学习已知区域的码字分布后,能够预测缺失区域的码字,接着补全后的离散特征经过解码器后生成时空一致的补全结果。本文在标准数据集Youtube-VOS和DAVIS进行了视频修复和目标移除的实验,定量指标都优于现有方法,而且在高频区域生成的纹理更加自然真实。