压缩感知图像与视频重建方法研究

来源 :天津大学 | 被引量 : 3次 | 上传用户:xp509
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
压缩感知(Compressed Sensing,CS)是近年来提出的一种新的信号采样方式,它指出当信号是稀疏的或可压缩时,可以通过非自适应的线性投影的方式,用远低于奈奎斯特采样定理要求的频率获取信号的全部信息。基于压缩感知理论的信号采样方法不仅突破了信号采样的频率限制,同时也改变了传统信号获取先采样再压缩的模式。它的信号采样过程集成了数据压缩,因而减少了信号获取与存储所需的传感器和存储数量,从而为高效率低功耗信号采样应用提供新的技术方案,受到业界的广泛关注。近年来,随着压缩感知理论研究的完善,它在图像/视频压缩与采集、合成孔径雷达成像、医学图像处理、模式识别和其他很多领域都得到成功应用。压缩感知理论主要涉及信号的稀疏表示、非相干感知测量以及信号的非线性重建三个关键要素,其中非线性重建是测量信号恢复的手段,也是重建信号质量的关键。本文先对压缩感知的基本理论进行概述,并介绍当前国内外压缩感知理论研究现状及其相关应用,然后重点围绕压缩感知图像与视频重建方法展开研究。论文的主要工作与创新包括:(1)论文利用图像像素间的空间域上的局部相关性,在压缩感知中结合传统混合编码的帧内预测方法,提出一种基于图像分块预测的压缩感知图像重建方法。自然图像中物体和背景的纹理特性通常具有全局性,图像局部区域内的纹理往住存在相同或相似的方向与特征,空间上图像相邻像素间具有很强的相关性。提出的方法基于分块的压缩感知编码框架,把图像划分为多个非重叠的子块,编码时每一图像块都独立测量,采用棋盘顺序奇数图像块与偶数图像块交替分块重建。重建过程中,图像块先由其环绕的相邻已重建块的图像像素预测,然后对预测残差的测量值进行压缩感知非线优化重建,得到图像块的重建值。同时,为了提高预测的精度和图像重建性能,提出的方法采用了多种方向预测模式,并在测量域中估计各种预测模式的均方误差(Mean Square Error,MSE),选择最小测量均方误差的模式作为最佳预测模式进行压缩感知残差重建。仿真实验表明,由于预测消除了图像块中的空间冗余,提高了信号表示的稀疏度,结合了帧内预测的压缩感知图像重建方法性能优于传统方法。(2)论文考虑视频序列中的时域相关性,提出一种基于多帧参考运动估计与运动补偿(Motion Estimation/Motion Compensation,ME/MC)的残差域字典学习方法。基于统计学习的自适应稀疏表示字典通常比固定的稀疏基具有更强的表示能力和适应能力。考虑到视频序列中当前图像帧与其相邻图像帧之间的帧间残差比图像本身更稀疏,从残差域学习的字典非常可能比从原始图像域中学习的字典具有更强的信号表示能强的表示能力,提出的方法以块为单位在视频序列的多个已重建的相邻图像帧中进行运动估计,提取帧间运动残差作为训练样本,在残差域学习得到一个表示字典,并以此对运动估计获取的当前图像帧的运动补偿图像进行压缩感知残差重建。此外,为了提高重建性能,提出的方法在压缩感知测量过程中采用了差异采样方式,将视频序列划分图像组(Group of Picture,GOP),定义每个图像组的第一个图像帧作为关键帧。每一个关键帧都采用较高采样率进行测量,其他非关键帧则采用较低采样率测量。在运动估计时,高采样率的关键帧作为最重要的参考帧来获取当前帧的运动补偿进行压缩感知图像重建。多个序列不同采样率下的实验表明这种差异采样方式较明显地提高了重建图像的质量。(3)论文提出在上述基于运动估计与运动补偿的残差域字典学习方法中应用K-L变换(Karhunen-Loeve Transform,KLT)来构造自适应的稀疏表示字典,并采用该字典作为稀疏表示基进行压缩感知视频重建。基于信号统计特征的K-L变换是最小均方差意义上的最佳变换,具有良好的去相关性,是理论上表示能力最强的正交变换。然而,KLT需要信号已知,无法直接应用于信号恢复重建,一种可行的方法是采用与原始信号相近的信号构造近似K-L变换矩阵作为原始信号的表示字典。连续变化的视频序列相邻图像帧间具有很强的相关性,序列中邻近图像帧的相似图像块的K-L变换矩阵具有相似性,从邻近图像帧学习的近似K-L变换矩阵对于当前重建图像块也具有很强的表示能力。提出的方法从训练集多个相似块中生成当前重建块残差的近似K-L变换矩阵作为稀疏表示字典进行压缩感知残差重建。相比基于优化方法的字典学习方法,提出的近似KLT字典构造方法复杂度更低,适用于在线学习;而相比传统的固定正交变换基,提出残差域近似KLT表示字典基于信号统计特性构造,具有较强的自适应能力,表示能力更强,表示系数更稀疏。实验结果表明,采用自适应的近似KLT变换矩阵进行压缩感知视频重建不仅比DCT(Discrete Cosine Transform)固定基表示方法性能更优,而且也具有更强的噪声对抗能力。(4)论文基于图像的非局部自相似特性,提出一种基于相似图像块矩阵低秩优化的压缩感知图像重建算法。传统的压缩感知通用信号重建算法只考虑信号的稀疏特性,没有利用特定信号的其他典型结构特征,信号细节保护不够。提出的方法先采用通用压缩感知重建方法获取图像的初始重建,然后将初始重建图像划分为多个重叠的样本块,聚合每个图像块邻近的所有相似图像块构成一个矩阵,采用加权核范数方法最小化(Weighted Nuclear Norm Minimization,WNNM)方法对所有图像相似块矩阵进行低秩优化压缩感知重建,并将得到的重建图像块返回到图像对应位置进行加权平均得到最后的重建图像。由于图像块间结构上的相似性,聚合的图像相似块矩阵具有典型的低秩属性,而且矩阵低秩从某种意义上是信号的组稀疏特性表现,因而提出基于相似图像块低秩优化的压缩感知图像重建算法可以较充分地利用图像自身的固有非局部自相似特性,从而优化了重建图像的质量。多个自然图像上测试实验表明,无论是采用2D FFT采样方式还是随机分块测量方式,提出的算法重建性能都较为明显地优于传统的通用压缩感知图像重建算法。论文最后从低秩优化的压缩感知视频重建和时间复用压缩感知两个方面对未来的工作进行了展望。
其他文献
近年来生物特征识别技术成为了计算机科学及相关领域的应用热点,围绕着人体的各种生物特征信息,如指纹、掌纹、人脸、虹膜和步态等等,科研工作者针对它们的计算机识别算法进行了
垃圾邮件的泛滥是世界各国迫切需要解决的问题。垃圾邮件一方面使普通用户不堪其扰,另一方面,也造成了互联网资源的极大浪费,甚至于危害国家的政治及社会秩序。本文以垃圾邮件作
随着网络越来越普及,所需的全局IP地址也越来越多,这将势必大力推动IPv6协议的发展。而使用网络地址端口翻译-协议翻译(NAPT-PT),是现阶段实现V6节点和V4节点通信的重要方法之一。
随着技术的进步及互联网产业的发展,以智能手机为代表的智能化设备进入了蓬勃发展的时期,相关软硬件产业也在智能化的浪潮中不断进行着革新与技术突破。智能电视是家电智能化
随着Web应用的不断扩展,基于HTML的Web信息表达方式已经不能适应人们进行信息查询和对Web数据进行管理的需要。XML以其开放性,自描述性,以及平台无关性等优点,成为网络上数据表示
随着多媒体技术的发展,视频信息的飞速增长,能够快速高效地访问海量的视频信息,已成为信息时代人们迫切需要解决的问题。因而,视频检索系统应运而生,但由于多媒体格式种类繁
油品经营企业的数据量比较大,采用手工方法收集数据进行分析,会浪费大量的时间,人力和财力,在很大程度上影响企业的效益。本课题从企业的实际情况出发,着眼于其发展,为其开发
本文对基于GBPEL的网格工作流引擎进行了研究。文章将BPEL4WS的许多特性引入OGSA网格环境中,深入分析了网格服务的生命周期管理机制、服务创建机制和实例管理机制等,并详细阐述
软件定义网络(Software Defined Networking,SDN)是近年来提出的网络架构模型,它能应用在云计算数据中心、企业网络等处,具有易管理性、高安全性等特点。云计算也是近年来提
本文对基于大数据集学习问题的支持向量机训练算法进行了研究。文章首先围绕最大间隔超平面的思想,基于凸包与约简凸包的概念从几何角度对支持向量机进行了分析与解释;其次基于