图像复原是图像退化的逆过程,旨在恢复出退化前的图像信息,是图像处理领域重要的研究课题。近十年来,深度学习实现了长足的进步,极大地推动了图像复原技术的发展。但是图像复原领域在取得一系列突破之后,发展逐渐放缓。另外,基于深度学习的图像复原方法由于任务的不适定性,复原结果模糊,视觉质量欠佳。如何解决上述两方面问题,是当今图像复原领域的重要方向。而在图像中,结构是典型的图像特征,可以将其作为中间变量引入复原任务对学习过程正则化进而提升性能。同时结构信息还决定图像的清晰程度,这也为缓解模糊提供了可能途径。本文由此出发,围绕结构推断和辅助的思想,分别在图像修复、图像去噪和图像超分辨率三个不同的图像复原子任务中开展研究,主要工作内容归纳如下:本文设计了边缘辅助的生成式图像修复算法,其中采用的结构为边缘。本文围绕结构推断辅助的思想,在基于深度学习的图像修复方法中将任务拆分为两个步骤,首先生成破损区域的边缘,然后使用边缘约束图像修复。本文采用基于卷积神经网络的边缘提取器输出的边缘图作为图像中的结构表征,提出基于生成对抗网络生成缺失区域结构的方案,与使用曲线拟合重建边缘的传统算法相比,适用场景更广泛。边缘生成后将其作为额外信息引入后续图像修复网络约束修复图像,与最先进的图像修复方法相比,修复的结果无论是量化指标还是视觉效果都更优越。本文设计了语义分割辅助的图像去噪算法,其中采用的结构为分割图。本文启发于经典去噪方法对相似块协同滤波的做法,结合结构推断辅助的思想,提出了包含两个步骤的解决方案:先使用分割网络估计出分割图,然后在去噪网络中对特征层依照分割图进行条件归一化,实现各个区域内部关于语义类别的非局部一致性。通过这种方法,本文首次实现了利用分割图同时提升去噪视觉效果和信号恢复质量。另一方面,本文发现语义分割的精度会受到噪声的干扰,而通过在语义分割前引入图像去噪可以弥补部分由于噪声引发的精度损失。结合前述两方面内容,本文进一步提出一种去噪和分割交替进行的提升网络以增强二者的性能,并借此网络研究了图像去噪和语义分割之间的协同作用。本文设计了可控边缘辅助的真实图像超分辨率算法,其中采用的结构为可控制疏密程度的边缘。现有真实图像超分辨率算法使用生成对抗网络结果仍然会模糊,同时结构部分容易出现瑕疵。针对这两个与结构相关的问题,本文在真实图像超分辨率这种处理复合降质的任务中进一步挖掘结构推断辅助方案的潜力,提出了两阶段的解决方案:第一阶段先从低分辨率图像估计高分辨率边缘,第二阶段通过高分辨率边缘约束超分辨率结果。但是真实场景中高分辨率边缘解的多样性高,为了降低不确定性,算法提出由用户控制边缘疏密程度从而引导高分辨率边缘的估计。在高分辨率边缘的辅助下,算法有效缓解了模糊和结构瑕疵的问题,显著提升了真实图像超分辨率的视觉质量。同时,用户引导边缘的疏密,间接控制超分辨率结果的清晰程度,实现了多样化超分辨率的功能。用户在实际应用中可以根据自身喜好选择中意的超分辨率结果。结构推断和辅助的通用流程为将图像复原问题分解为两步:首先由退化图像推断出复原结果的结构信息,再以该结构为约束辅助图像复原。本文以该思想为核心,借助深度学习技术,在三种典型图像复原任务上进行设计和探究,丰富的对比实验证明了提出的三个算法在各自任务上的优越性。本文遵循由特殊到一般的研究思路:先在图像修复和图像去噪任务中处理单一降质,再在真实图像超分辨率任务中处理复合降质（包括模糊、噪声、压缩块效应和下采样）,通过三种不同的任务验证了结构推断辅助的思想在图像复原领域的通用性和有效性。