论文部分内容阅读
图像的分辨率是大多数成像应用需要考虑的一个常见参数,也是评价图像质量的一个重要指标。通过对成像系统的硬件设备进行升级改造来提高图像分辨率受到技术瓶颈、应用条件和制造成本的限制,而利用信号处理、机器/深度学习等软件方法来提高图像分辨率能够有效规避这些约束条件,以较低的代价突破硬件设备的固有缺陷,这类方法叫做图像超分辨(Super-Resolution,SR)重建。图像SR是计算机视觉领域一个典型的图像恢复问题,旨在克服成像系统的物理缺陷或不适宜的采集条件,从一幅或多幅低分辨率(Low Resolution,LR)图像重建出一幅高分辨率(High Resolution,HR)图像。近年来,通过深度学习技术从大量外部数据引入先验信息来构建LR图像与HR图像之间的非线性映射关系,成为图像超分辨重建研究的主流趋势。本文针对基于深度学习的图像SR技术进行了创新性研究,并探索了相关技术在磁共振成像(Magnetic Resonance Imaging,MRI)上的潜在应用,主要工作包括以下几个方面:(1)针对自然图像SR任务,当前许多基于卷积神经网络(Convolutional Neural Network,CNN)的单幅图像SR模型为了增加模型复杂度和稳定模型训练过程而引入残差学习,从而造成模型表达能力未得到充分挖掘的问题,本文提出了一种新的完全通道串接网络(Fully Channel-Concatenated Network,FC2N)。在所提的FC2N模型中,所有的层间跨步连接(Interlayer Skip Connection,ISC)都是通过加权通道串接实现的。由于所有ISC的权重因子都是可学习的,模型可以自适应地确定ISC的连接强度和数量。这有助于充分挖掘模型表达能力,也更符合生理学上神经元的活动方式。目前,FC2N是第一个网络深度超过400层的非残差SR模型,也是继增强深度超分辨模型(Enhanced Deep Super-Resolution,EDSR)之后第一个模型参数小于10M但仍然具有优异性能的SR模型。(2)针对利用结构单一、缺乏多样性的磁共振(Magnetic Resonance,MR)图像样本来训练大规模CNN模型容易造成梯度消失和模型欠拟合的问题,本文提出了一种新的通道划分网络(Channel Splitting Network,CSN)。CSN利用通道划分将层级特征分为不同的分支,并通过合并运行(Merge-and-Run,MAR)来融合不同分支上的信息流。其中,通道划分将层级特征分为不同的簇,以便区别处理不同通道上的特征映射,同时通过减少神经元之间的链接来缓解模型表达负担;而MAR通过定期以残差连接的方式合并不同分支上的层级特征,可以有效促进不同分支之间的信息共享和融合。在几种典型MR图像上的定量和定性实验表明,所提的CSN模型不仅超越了传统的MR图像超分辨重建技术,对其他先进的、基于CNN的超分辨模型也有显著的性能优势。(3)针对CSN模型中局部并行的模块结构限制了网络深度和模型表达能力的问题,本文进一步为MR图像超分辨任务提出了通道划分与串行融合网络(Channel Splitting and Serial Fusion Network,CSSFN)。CSSFN模型也对层级特征按通道进行分组,但特征融合采用了类似密集连接网络(Densely Connected Network,DCN)的串行结构。这样既维持了模型区别处理不同通道上特征映射的能力,又通过增加网络深度扩展了模型的非线性表达能力。扩展实验验证了CSSFN模型对包括CSN模型在内的其他先进超分辨方法的性能优势。(4)针对大规模CNN模型对计算量和内存要求较高,不适用于计算资源有限的MRI成像场景的问题,本文提出了一种轻量级的侧抑制网络(Lateral Inhibition Network,LIN)。LIN模型根据神经生物学中的侧抑制效应,假设神经元之间存在相互抑制作用,通过模拟哈特林-雷特里夫方程(Hartline-Ratliff Equation)对层级特征进行显式的抑制性调节。为了进一步提高轻量级模型的性能,本文提出整合具有不同扩张率的扩张卷积来提取浅层特征。这有助于提取不同感受野范围内的浅层特征,为后续推理提供更丰富、更有效的证据。实验结果表明,所提的LIN模型能够以少量的模型参数实现优异的SR性能,表现出较好的实用性。(5)本文以基于深度学习、迁移学习的图像SR模型为基础,通过适当的网络结构调整和超参数设置,探索了相关回归模型在MR图像上的其他应用,包括吉布斯伪迹抑制(Gibbs-ringing Artifact Suppression,GAS),自动窗宽窗位(Automatic Windowing)以及年龄预测(Age Prediction,AP)。实验表明,基于CNN的回归模型可以很方便地处理MR图像上的这些应用,并取得明显优于传统方法的性能。