论文部分内容阅读
压缩感知(compressed sensing,CS)理论为信号采集和重建提供了一种新的模式,其同时实现了信号的采样和压缩过程。具体地,CS理论表明,当信号在某个域中是稀疏的,则可以从比奈奎斯特-香农采样定理所要求的更少的测量值中正确地恢复原来的信号。CS理论从提出开始就一直是研究的热点问题,并且已经给信号处理和通信领域带来了巨大的变革。经过十多年的发展,CS技术得到了进一步的完善,如分布式CS和贝叶斯CS等相继被提出。CS技术也在许多领域得到应用,如磁共振成像和无线广播等领域。然而,CS虽然从理论和应用方面都得到了巨大的发展,但是这几年CS的研究出现了瓶颈。传统的基于稀疏正则模型的CS重建方法要么信号重建质量差,要么具有较高的计算复杂度。因此,研究低复杂度但高重建质量的CS方法是一个迫切的任务。近年来,深度学习在各个领域都取得了突破性的应用,并且能够以较低的计算复杂度获得较好的性能。本文使用深度学习来解决CS研究中的若干挑战性问题,提出图像和视频的深度压缩感知(称之为Deep CS)方法。具体而言,本文主要包括以下四个方面的工作:(1)提出了一种基于卷积神经网络的图像压缩感知框架(称之为CSNet)。CS研究中关注的两个挑战性问题分别是采样矩阵的设计和信号重建方法。一方面,常用的随机采样矩阵与信号无关,忽略了信号的特性。另一方面,主流的图像CS方法虽然取得了很好的重建性能,但却有较高的计算复杂度。为了解决这两个问题,CSNet联合地优化一个采样网络和一个重建网络。其中,采样网络自适应地从训练图像中学习一个采样矩阵,其使得采集到的CS测量值保留更多的图像结构化信息,从而可以更好地进行图像重建。具体地,本文提出学习三种类型的采样矩阵,即浮点矩阵、{0,1}-二值矩阵和{-1,+1}-两极矩阵。后两种采样矩阵是专门为便于存储和硬件实现而设计的。重建网络包括一个线性初始重建网络和一个非线性深度重建网络,其学习一个CS测量值到重建图像之间的端到端映射。实验结果表明,CSNet提供了领先的图像重建质量,同时能够实现快速运行。此外,CSNet使用学习得到的{0,1}-二值矩阵和{-1,+1}-两极矩阵作为采样矩阵依然能够获得与现有的基于深度学习的使用浮点采样矩阵的图像CS方法相当的图像重建质量,并且优于传统图像CS方法使用浮点采样矩阵获得的图像重建质量。另外,实验结果进一步表明,学习得到的采样矩阵能够显著地改进传统的图像CS方法的重建图像质量。(2)提出了一种应用于图像压缩感知的可伸缩卷积神经网络(称之为SCSNet)。SCSNet是CSNet的可伸缩拓展版本,其只需要训练一个模型就可以实现任意采样率下的可伸缩图像采样和重建。特别地,SCSNet同时提供了粗粒度和细粒度的可伸缩性。为了获得粗粒度的可伸缩性,SCSNet被设计为一个单一的采样矩阵加上一个层次化的重建网络。SCSNet的重建网络包含一个基本重建层和多个增强重建层。基本重建层提供基本的图像重建质量,而增强重建层参考较低的重建层并逐步提高图像重建质量。为了获得细粒度的可伸缩性,SCSNet采用贪婪方法选择测量基,从而实现任意采样率的图像采样和重建。与现有的基于深度学习的图像CS方法相比,SCSNet只需要一个模型就可以实现任意采样率下的可伸缩采样和高质量的可伸缩重建。实验结果表明,SCSNet在保持与现有的基于深度学习的图像CS方法相当的运行速度的同时,具有领先的图像重建质量。(3)提出了一种适用于彩色图像压缩感知成像的可迭代卷积神经网络(称之为ICSNet)。ICSNet联合地学习一个稀疏采样矩阵和一个可迭代的多通道联合重建网络。学习得到的稀疏采样矩阵既减少了计算量和存储空间又使得ICSNet能够更好地适用于彩色图像压缩感知成像。可迭代的重建网络进行多通道联合重建,有效地利用彩色图像通道间的相关信息,提高了重建图像的质量。ICSNet是一个轻量级的迭代网络,通过训练得到的迭代器的多次迭代,可以显著地提高重建图像的质量。实验结果表明,ICSNet在保持与现有的基于深度学习的图像CS方法运行速度相当的同时,具有领先的图像重建质量。(4)提出了一种基于卷积神经网络的视频压缩感知框架(称之为VCSNet)。VCSNet是前三个工作在视频域的拓展,其有效地利用视频的帧内和帧间相关性来改善重建视频的质量。具体地,VCSNet将视频序列划分为多个图片组,其中第一帧为关键帧,其采样率将高于其他非关键帧。在一个图片组中,VCSNet使用一个卷积层实现基于块的逐帧采样,这使得采样矩阵可以被自适应地优化。在重建过程中,VCSNet首先使用一个能够有效利用帧内信息的线性卷积神经网络实现逐帧视频重建,然后使用多层次深度特征补偿来用关键帧的信息有效地提升非关键帧的重建质量。这种多层次深度特征补偿方法使得VCSNet更好地利用帧内和帧间相关性来提升视频的重建质量。在6个基准视频上的大量实验表明,与目前主流的视频CS方法和基于深度学习的图像CS方法相比,具有多层次深度特征补偿的VCSNet在客观和主观指标上都显示出更好的视频重建质量。