近年来基于学习的人脸超分辨率技术受到了广泛的关注,不同研究者从不同的角度提出了一系列的超分辨率重建算法。尤其是基于冗余字典学习和图像块稀疏表示的人脸超分辨率算法取得了文献报道的最佳效果。但是,在实际监控视频应用过程中,噪声等因素会导致基于稀疏表示的人脸超分辨率重建图像质量大大下降。如何构建鲁棒的稀疏表示模型、训练有效的冗余字典,形成对人脸的多形态稀疏表示,并在此基础上对低质量、低分辨率的人脸图像进行有效的重建,是监控人脸图像超分辨率重建所要解决的关键问题。本文在国家自然科学基金面上项目“面向极低质量监控图像的鲁棒性人脸超分辨率研究”(No.61172173)和公安部重点科技公关项目“刑事侦察图像比对系统关键技术”(No.2008ZDXMHBST011)等的资助下,对基于稀疏表示模型的人脸超分辨方法展开研究,提出了一系列新的基于稀疏表示模型的人脸超分辨率方法,改善了重建结果人脸图像的主客观质量。包括三方面的工作:第一,从人脸图像块的鲁棒性稀疏表示出发,对高低分辨率重建系数的误差进行建模,提出在传统稀疏编码框架中引入稀疏编码噪声抑制正则项,改进高低分辨率重建系数的一致性,提高算法的噪声鲁棒性。第二,从学习字典的训练方法出发,结合稀疏性和近邻性特征优势,构建高维图约束正则项,提高冗余字典表达能力,进而改善基于稀疏表示模型的人脸超分辨率算法的重建能力。第三,从人脸多成份差异化表示出发,对人脸不同成份训练不同耦合字典,采用有针对性的正则项进行约束重建,保留更多人脸细节,进而改善超分辨率算法性能。具体来讲,本论文的研究内容包括以下三个方面:(1)基于K近邻稀疏编码均值约束的人脸超分辨率算法现有的基于稀疏编码的方法使用过完备冗余字典对观察对象进行稀疏表示,这使得观察特征的细小变化都会导致字典中基函数的合成结果不稳定。其根源在于噪声影响了稀疏编码的表达精度。针对该问题本文提出一种基于K近邻稀疏编码均值约束的人脸超分辨率算法。通过构建稀疏编码噪声模型,在标准稀疏编码框架下利用多个近邻块编码的期望来约束单个块的编码系数,使得在零均值情况下,高、低分辨率空间人脸块的稀疏表示系数对噪声具有鲁棒性和一致性,从而提高超分辨率重建系数的表达精度,最终提高重建高分辨率人脸图像的质量。在CAS-PEAR-R1人脸库[86]的实验结果表明,本文提出方法相对于领域前沿的方法[36]在PSNR值和SSIM值上分别提升了0.3364 dB和0.0243。(2)基于高维图约束稀疏编码的人脸超分辨率算法现有的基于稀疏编码的人脸超分辨率方法没有考虑人脸五官结构信息,在编码过程忽略了局部特征的近邻结构,从而影响了冗余字典的表达能力。针对这一问题,本文提出一种基于高维图约束稀疏编码的人脸超分辨率算法。该算法在耦合字典对训练过程中,将图像块在高分辨空间的内部几何结构信息引入稀疏编码步骤,使得稀疏编码系数空间能够良好地保持原始图像块的相似性和局部性特性,从而在不扩张字典规模的前提下显著提升了学习字典的表达能力,改善了算法的重建能力。在CAS-PEAL-R1人脸库和实际场景人脸图像上的超分辨率实验验证了本章提出算法的有效性。在CAS-PEAR-R1人脸库[86]的实验结果表明,本文提出方法相对于领域前沿的方法[76]在PSNR值和SSIM值上分别提升了 0.8dB和0.0262。(3)基于多形态稀疏表示的人脸超分辨率算法现有的人脸超分辨率方法主要从单一形态进行稀疏表示,如原始像素、梯度特征等,对纹理和轮廓等信息采用相同的正则项进行对等约束重建,导致重建结果图像出现过平滑或锯齿效应。针对该问题,提出基于多形态稀疏表示的人脸超分辨率方法。首先对高、低分辨率训练样本图像进行分解,提取低频卡通成份和高频纹理成份,训练得到卡通成份耦合字典对和纹理成份耦合字典对。然后针对输入人脸图像的卡通成份采用总变分正则项约束其平滑性,对于纹理成份采用非局部相似性正则项约束其规则性。最后将各自重建结果进行融合,得到最终的高分辨率人脸图像。该算法提出的差异化约束规则适应了图像的多成份构成特点,从而能有效保持轮廓保真度和细节逼真度,改善了人脸图像重建质量。在CAS-PEAL-R1人脸库[86]上的超分辨率实验验证了本章提出算法的有效性,本文提出方法相对于领域前沿的方法[126]在PSNR值上提升了 1.23dB。综上所述,本研究从影响人脸图像超分辨率重建质量的因素着手,在基于稀疏表示的框架下,开展人脸超分辨率的鲁棒性表示、有效字典学习和多形态差异化稀疏表示的研究。提出了基于K近邻稀疏编码均值约束的人脸超分辨率算法、基于高维图约束稀疏编码的人脸超分辨率算法、基于多形态稀疏表示的人脸超分辨率算法。创新性研究成果对于解决视频监控系统的实际使用效能具有借鉴意义。本文最后对下一步的研究工作进行了展望,包括高效的自适应正则化参数的选择、更有效的在线字典学习方法的构建等将是后续研究的重点。