论文部分内容阅读
在刑侦破案中,犯罪嫌疑人的人脸图像是刑侦人员最关注的目标之一。但是在实际监控中,由于嫌疑人距离摄像头较远且拍摄设备本身的分辨率有限,导致拍摄得到的人脸图像尺寸很小,难以辨识。如何提高所获人脸图像的空间分辨率,改善人脸图像质量、提升人脸图像清晰度和辨识价值是极具挑战性的课题。人脸超分辨率技术是解决上述问题较经济且有效的手段之一,它可以根据观察到的低质量、低分辨率人脸图像,结合由人脸图像样本库学习得到的先验知识重构出清晰的高分辨率人脸图像。近年来,学者们提出了很多基于学习的人脸超分辨率算法,其基本假设是高分辨率图像(块)构成的流形空间与低分辨率图像(块)构成的流形空间具有局部几何结构一致性,学习低分辨率图像与高分辨率图像的关系,并利用此关系预测输入低分辨率人脸图像对应的高分辨率人脸图像。但是,上述基于流形一致性假设的人脸超分辨率方法在实际监控应用中仍然面临以下三大挑战:(1)实际应用中的人脸库规模有限,有限样本点只能构成高维人脸流形空间的一个稀疏子空间,即使最相邻的样本点也难以称之为局部,局部线性假设不成立;(2)大案、要案多发生在夜间,嫌疑目标人脸图像受噪声干扰严重,现有人脸图像块表示方法在噪声干扰下的表示不稳定;(3)图像降质带来的信息丢失导致高低分辨率图像之间存在“多对一”的不确定性关系,高低分辨率图像空间流形几何结构不一致。为此,本文开展基于一致流形学习的人脸超分辨率研究,在人脸图像库表达理论、人脸图像的视觉表示理论、高低分辨率的一致流形学习理论等方面取得了创新性成果:(1)基于最近特征线流形学习的样本表达能力扩充技术本文针对实际人脸库样本不足导致样本空间局部线性假设不成立的问题,引入最近特征线思想,连接任意两个样本图像(块)形成特征线,将人脸图像库中的任意两个样本图像(块)扩充为特征线上的无数多个样本,通过保持相对传统基于局部线性嵌入流形学习方法更小局部内的线性关系,来揭示高低分辨率人脸流形空间的非线性关系,更加体现了流形学习的本质。实验结果表明,提出方法相较于基于流形学习的前沿人脸超分辨率算法在CAS-PEAL-R1人脸库上的PSNR值提升了1个dB以上(2)基于局部约束表示的噪声图像块鲁棒表示技术本文针对基于稀疏表示的前沿人脸超分辨率方法对噪声图像块表示不稳定的问题,分析了噪声对图像块表示的影响,建立了图像块局部约束表示模型,在图像块样本空间中自适应地选取与输入图像块距离近的样本图像块,惩罚距离远的样本图像块,利用局部性来约束图像块的表示系数,解决了最小二乘表示方法表示不唯一以及稀疏表示方法对噪声不鲁棒的问题。在FEI人脸库上的实验结果表明,提出方法相对于稀疏表示方法在PSNR和SSIM值上分别提升了1.02dB和0.0168,重构人脸图像的主观结果也更优。(3)基于高分辨率流形空间约束的高低分辨率图像空间映射技术本文针对现有基于流形学习的人脸超分辨率方法只考虑低分辨率流形结构而忽略原始高分辨率流形结构的问题,建立高分辨率流形正则约束的高低分辨率空间映射模型,利用不受下采样和噪声影响的原始高分辨率流形结构作为先验约束,约束重构后的高分辨率流形空间,使重构后的高分辨率流形结构与原始高分辨率流形结构一致。相较于基于低分辨率图像流形约束的方法,提出方法在CAS-PEAL-R1人脸库和AR人脸库上的PSNR值分别提升了0.34dB和0.27dB,SSIM值分别提升了0.0044和0.0049。(4)基于局部迭代嵌入和字典渐进更新的图像观测模型学习与逼近技术本文针对基于学习的人脸超分辨率方法在复杂降质环境下性能急剧下降的问题,首次将低分辨率人脸字典更新的思想引入到人脸超分辨率重构中,建立局部迭代嵌入模型和低分辨率人脸字典渐进更新模型,渐近地学习得到多层中间低分辨率人脸字典,逐渐减小高低分辨率图像空间的维度差,在渐近更新后的高低分辨率空间学习它们之间的关系,从而进行更加准确地邻域嵌入学习与预测。在CAS-PEAL-R1人脸库的实验结果表明,提出方法相对于前沿稀疏表示方法在PSNR值和SSIM值上分别提升了1.66dB和0.0303。综上所述,本文通过借鉴人类视觉感知和认知的机理来完成人脸图像库的扩充表达、人脸图像的噪声鲁棒表示、高低分辨率一致流形关系的学习。在基础理论和关键技术方面的研究成果可为解决实际监控人脸超分辨率重构问题提供了新的途径。