论文部分内容阅读
如今随着科学技术的进步发展,图像数据以令人惊叹的速度日益增长。然而,一些难以避免的非主观因素时常发生,并对图像质量产生负面影响,例如图像采集时遭遇遮挡、传输过程中混入噪声、未能妥善存储而造成图像损坏等等。为了后续更好地对图像数据进行处理与分析,需要首先对低质量图像进行修复。因此,对图像修复技术的研究具有十分重要的意义。对特征的稀疏表达能够尽量挖掘数据的潜在模式,因而能够有力地推动图像修复技术的发展。目前,由于具有良好的神经科学动机驱动,同时也有坚实的数学理论支持,稀疏编码已成为解决图像修复任务的有效技术手段。另外,对数据施加稀疏约束以实现特征选择,从而保留判别特征,去除冗余特征,也为图像修复技术的进步提供了重要帮助。近年来,深度表达成为计算机视觉领域研究热点之一。深度学习依赖于数据驱动,而当前爆发式增长的数据规模为深度学习的蓬勃发展提供了坚实保障。深度神经网络模型能够从大量数据中学习到潜在的复杂隐式映射,而不需要预先设计先验知识,并且可以实时处理任务。这些优势使其能够高效地处理图像修复任务。本文围绕着基于稀疏表达与深度表达的数据处理方法,从图像结构信息修复与图像颜色信息修复两方面出发,对若干图像修复任务展开研究,包括图像补全、图像去噪与图像着色,提出了以下几个创新的内容和工作:1.本文提出了一种方法,通过挖掘不完备数据的全局低秩结构与局部稀疏模式信息来进行张量补全。对于数据的全局低秩结构,我们设计了一种加权的张量核范数来对其进行描述;同时,我们将正交字典学习过程与稀疏编码相结合,用以更有效地发现数据的局部细节。通过利用数据的全局信息与局部提示,该方法能够更好地修复不完备张量数据中的缺失信息。在彩色图像、MRI图像以及视频数据上对该方法进行了实验验证,与近期相关方法对比得到的实验结果表明该方法的有效性;2.本文通过对残差映射与非残差映射联合预测的策略进行探索,提出了一种基于动态对偶学习的图像盲去噪网络。该网络生成具有任务相关性的图像特征,每部分特征分别对应于一个特定任务的预测,即残差映射或非残差映射。通过引入一个生成动态组合注意力的子网络,使单个网络可以更好地处理不同甚至未知的噪声强度下的图像去噪问题。子网络的引入有助于随着图像损坏程度的变化,自适应地突出重要的任务相关特征。此外,该子网络还学习一个权重用于结果融合,确保网络以端到端的方式训练。在合成含噪图像与真实含噪图像上的大量实验表明,该方法性能要优于当前主流的方法,且不需要估计噪声强度作为输入;3.本文提出一种方法,可以将彩色图像转换为可以完全恢复其原始颜色的灰度图像,并且该方法生成的编码信息具备区分性和稀疏性,因而可以减少对存储空间的占用。我们设计了一个可逆深度神经网络用于颜色信息的编码与解码,该网络通过学习来产生编码颜色信息的残差图像,接着将残差图像与基图像组合并馈送到解码器中以进行颜色修复。基图像的引入有效地避免了由现有压缩技术(例如,JPEG)不可微而导致的网络优化问题,使网络能够以端到端的方式训练;同时,为了进一步减小残差图像的大小,我们在网络中引入一个基于L0正则化的门控层,以增加残差图像的稀疏程度。大量实验表明,该方法在重建图像的着色质量和对现有压缩技术的兼容性上均优于当前主流方法。