近年来,深度神经网络在图像生成和图像识别等计算机视觉应用领域取得了许多突破。然而由于目前深度学习理论不够完善,深度神经网络在计算机视觉任务的应用上仍然存在许多问题。首先,对于深度神经网络泛化能力的成因仍在探索之中,而模型在实际测试中的性能取决于其泛化能力;其次,深度神经网络的训练过程不稳定,尤其是生成对抗网络（Generative Adversarial Network,GAN）,这对其在具体任务中的应用形成阻碍;最后,深度神经网络的训练需要依赖大量数据,一定程度上限制了其应用场景。基于上述背景,本文基于深度学习并结合近年来学界提出的相关前沿方法,研究了计算机视觉中若干经典任务:图像修复、小样本学习和图像分类。本文的主要研究工作如下:1)本文提出了一个应用于图像修复的渐进式生成网络（Progressive Generative Network,PGN）,它将语义图像修复任务视为一个课程学习问题。对于存在大区域破损的语义图像修复任务,一次性修复整个破损区域可能比较困难,PGN将修复过程分为几个不同的阶段,每个阶段的目标是完成整个课程的一个子课程,然后使用LSTM框架将所有阶段串联在一起。通过引入这种课程学习策略可以提升模型的泛化能力,PGN可以逐步修复自然图像中的大面积损坏区域,并产生良好的图像修复结果。此外,由于整个修复过程是在一个前向传递中执行的,因此该方法的速度相当快。在巴黎街景和Image Net数据集上的大量实验证明了本方法的优越性。2)本文提出了基于深度学习的协同图像修复（Deep Image Co-Inpainting,DICI）框架。在图像修复训练过程中数据集的某些图片可能会产生不一致的重建损失干扰训练,影响图像修复的效果。受到协同蒸馏的启发,DICI引入了两个图像修复模型,包含两个生成器和两个判别器。其中,两个生成器采用图像级别协同蒸馏,输出一致的图像修复结果,缓解外部干扰;两个判别器之间采用特征级别的协同蒸馏,产生一致的判断,避免判别器训练过程中的灾难性遗忘;两个生成器和两个判别器之间采用交叉训练,提升稳定性。本文尝试了五种不同的DICI实现方式,并在四个数据集上和现有方法对比,以验证DICI的有效性和优越性。3)小样本学习研究如何使用少量样本训练深度神经网络,本文提出一个基于挖掘-评估课程网络（Miner-Evaluator Curriculum Network,MECN）的小样本学习框架。由于小样本任务采样的随机性,不仅会产生遗漏现象,也无法保证质量。针对此问题,MECN设计了两个辅助模块:a)小样本任务挖掘器根据元学习器的反馈采样困难的小样本任务;b)小样本任务评估器根据小样本任务的噪声水平对其进行重新加权。这两个模块相互协作并且相互补充,它们共同为元学习器提供任务级别的课程,以便提高元学习器的泛化性能。为了评估MECN,本文采用了两个具有挑战性的数据集（mini Imagenet和tiered Imagenet）,在有监督和无监督的小样本学习环境下进行了大量的实验,本文还精心设计了大量的消融实验,以验证本方法的有效性。4)本文提出了一个称为对抗协同蒸馏网络（Adversarial Co-distillation Network,ACN）的图像分类框架,通过生成额外的分歧样本来改进协同蒸馏。ACN由两部分组成:一个是由GAN组成的生成对抗模块,用于生成分歧样本;另一个是由两个分类器组成的协同蒸馏模块,用于学习分歧样本。这两个模块以迭代和对抗的方式进行训练。为了保证分歧样本的质量以及ACN的稳定性,本文进一步设计了“弱残差连接”和“限制对抗搜索”。在不同数据集上对不同结构的深度神经网络进行了大量实验,证明了ACN的有效性。