基于一致流形学习的人脸超分辨率算法研究

来源 :武汉大学 | 被引量 : 21次 | 上传用户:zyz2574100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在刑侦破案中,犯罪嫌疑人的人脸图像是刑侦人员最关注的目标之一。但是在实际监控中,由于嫌疑人距离摄像头较远且拍摄设备本身的分辨率有限,导致拍摄得到的人脸图像尺寸很小,难以辨识。如何提高所获人脸图像的空间分辨率,改善人脸图像质量、提升人脸图像清晰度和辨识价值是极具挑战性的课题。人脸超分辨率技术是解决上述问题较经济且有效的手段之一,它可以根据观察到的低质量、低分辨率人脸图像,结合由人脸图像样本库学习得到的先验知识重构出清晰的高分辨率人脸图像。近年来,学者们提出了很多基于学习的人脸超分辨率算法,其基本假设是高分辨率图像(块)构成的流形空间与低分辨率图像(块)构成的流形空间具有局部几何结构一致性,学习低分辨率图像与高分辨率图像的关系,并利用此关系预测输入低分辨率人脸图像对应的高分辨率人脸图像。但是,上述基于流形一致性假设的人脸超分辨率方法在实际监控应用中仍然面临以下三大挑战:(1)实际应用中的人脸库规模有限,有限样本点只能构成高维人脸流形空间的一个稀疏子空间,即使最相邻的样本点也难以称之为局部,局部线性假设不成立;(2)大案、要案多发生在夜间,嫌疑目标人脸图像受噪声干扰严重,现有人脸图像块表示方法在噪声干扰下的表示不稳定;(3)图像降质带来的信息丢失导致高低分辨率图像之间存在“多对一”的不确定性关系,高低分辨率图像空间流形几何结构不一致。为此,本文开展基于一致流形学习的人脸超分辨率研究,在人脸图像库表达理论、人脸图像的视觉表示理论、高低分辨率的一致流形学习理论等方面取得了创新性成果:(1)基于最近特征线流形学习的样本表达能力扩充技术本文针对实际人脸库样本不足导致样本空间局部线性假设不成立的问题,引入最近特征线思想,连接任意两个样本图像(块)形成特征线,将人脸图像库中的任意两个样本图像(块)扩充为特征线上的无数多个样本,通过保持相对传统基于局部线性嵌入流形学习方法更小局部内的线性关系,来揭示高低分辨率人脸流形空间的非线性关系,更加体现了流形学习的本质。实验结果表明,提出方法相较于基于流形学习的前沿人脸超分辨率算法在CAS-PEAL-R1人脸库上的PSNR值提升了1个dB以上(2)基于局部约束表示的噪声图像块鲁棒表示技术本文针对基于稀疏表示的前沿人脸超分辨率方法对噪声图像块表示不稳定的问题,分析了噪声对图像块表示的影响,建立了图像块局部约束表示模型,在图像块样本空间中自适应地选取与输入图像块距离近的样本图像块,惩罚距离远的样本图像块,利用局部性来约束图像块的表示系数,解决了最小二乘表示方法表示不唯一以及稀疏表示方法对噪声不鲁棒的问题。在FEI人脸库上的实验结果表明,提出方法相对于稀疏表示方法在PSNR和SSIM值上分别提升了1.02dB和0.0168,重构人脸图像的主观结果也更优。(3)基于高分辨率流形空间约束的高低分辨率图像空间映射技术本文针对现有基于流形学习的人脸超分辨率方法只考虑低分辨率流形结构而忽略原始高分辨率流形结构的问题,建立高分辨率流形正则约束的高低分辨率空间映射模型,利用不受下采样和噪声影响的原始高分辨率流形结构作为先验约束,约束重构后的高分辨率流形空间,使重构后的高分辨率流形结构与原始高分辨率流形结构一致。相较于基于低分辨率图像流形约束的方法,提出方法在CAS-PEAL-R1人脸库和AR人脸库上的PSNR值分别提升了0.34dB和0.27dB,SSIM值分别提升了0.0044和0.0049。(4)基于局部迭代嵌入和字典渐进更新的图像观测模型学习与逼近技术本文针对基于学习的人脸超分辨率方法在复杂降质环境下性能急剧下降的问题,首次将低分辨率人脸字典更新的思想引入到人脸超分辨率重构中,建立局部迭代嵌入模型和低分辨率人脸字典渐进更新模型,渐近地学习得到多层中间低分辨率人脸字典,逐渐减小高低分辨率图像空间的维度差,在渐近更新后的高低分辨率空间学习它们之间的关系,从而进行更加准确地邻域嵌入学习与预测。在CAS-PEAL-R1人脸库的实验结果表明,提出方法相对于前沿稀疏表示方法在PSNR值和SSIM值上分别提升了1.66dB和0.0303。综上所述,本文通过借鉴人类视觉感知和认知的机理来完成人脸图像库的扩充表达、人脸图像的噪声鲁棒表示、高低分辨率一致流形关系的学习。在基础理论和关键技术方面的研究成果可为解决实际监控人脸超分辨率重构问题提供了新的途径。
其他文献
目的观察冷喷治疗对早期头面部Ⅱ度烧伤创面疼痛的治疗作用。方法将40例早期头面部Ⅱ度烧伤患者按随机数字表分成观察组与对照组各20例。观察组冷喷治疗30min,对照组采取暴露
小儿尿失禁是临床常见的排尿异常,对患儿身心发育和家庭造成程度各异的不利影响。可由于神经、生理发育迟缓、尿液产生过度、膀胱过度活动症、憋尿、便秘、焦虑等功能性因素
内丘纸马是我国民间木刻版画艺术中的独特的类型,其图像内容多为神怪圣灵,主要用于敬神祭祖与祈福禳灾。当我们看到内丘纸马图像时我们会感到一种粗犷、神秘、奇特的稚拙之美
河北省现代学徒制试点工作开展2年多来,取得了一定成效,但仍面临诸多问题,亟需从健全法规制度,变革教学管理模式,完善师资共享和培训机制,建立资金保障机制等方面着手,扫除学
公共供水行业的安防系统是保障水厂安全和防范不安全因素的重要措施,受到各大供水企业安保部门的重点关注。通过设置符合公共供水安防要求的安防系统,集成视频监控系统、周界
自2001年上海合作组织成立至今,经历了一次非常重要的扩员,即2015年同意启动接收印度和巴基斯坦加入的程序。2017年,接纳新成员的程序完成,印巴成为上海合作组织的正式成员。
近年来"一带一路"的深入推进激发了乌鲁木齐城市的巨大潜力。本文通过国内、国际两个层面分析当前乌鲁木齐城市外交所面临的机遇与挑战,提出了未来乌鲁木齐城市外交发展的三
[摘 要] 体育作为高等教育的重要组成部分,在人力健康资本的形成中具有基础性作用。站在提升高职大学生人力资本存量的层面上来重新审视体育,对现代社会的发展和经济增长具有重要的经济意义。  [关键词] 体育 高职大学生 人力资本 积极影响    引言  一、人力资本的概念与基本特点  1.人力资本的概念。所谓人力资本,是指存在于人体之中的具有经济价值的知识、能力和体力等质量等因素之合。就其实体形态来说
应用手持式全球定位系统定位导航仪,野生动物研究人员能在野外导向、定位、测距和测速。全球定位系统亦提供了研究野生动物迁徙的新技术。
95后大学生群体面临重要的人格发展任务,具有提升存在感与安全感,建立良好人际关系,认识自我价值,加快自我实现等多层面心理发展需求。社会工作介入高校学生工作,提供学校社会工作