成像技术的不断进步提供了不同类型的图像形态,称之为异质图像。以人脸图像为例,现有技术可以得到某人的可见光图像、近红外图像、热红外图像以及素描画或线条画等。这些不同类型的图像在不同的表达空间给出了同一目标的丰富多彩的描述和刻画,它们之间既存在冗余也存在互补,让人们能够全面地认识事物的本质特性。其互信息的有效挖掘与利用,可加深对对象的感知理解,对公共安全与媒体娱乐等领域有广泛应用价值,也将是未来物联网中的重要信息形态。不同类型的成像传感器所生成的图像具有不同的用途,传统信息处理研究的重点是多传感器之间的信息融合,以获得目标更全面的描述。而在实际应用中有可能存在传感器的缺失,即个传感器只得到了幅图像,这时就需要根据既有传感器采集到的图像生成缺失传感器的图像,即异质图像合成问题。本文以人脸的可见光图像(照片)和素描画像之间的相互转换为例,探索研究异质图像间的合成方法,重点研究人脸照片和画像成像机理和信息表达方式之间的映射关系,考察所合成图像的质量以及基于合成图像的一些应用如基于画像的人脸识别等。论文的主要创新性概括为:1.提出一种自适应确定相关特征个数的稀疏特征选择方法。现有的方法在选择近邻时采用固定个数()的近邻来进行异质人脸图像的合成,而由于训练数据库中异质人脸图像样本对个数的限制,固定个数的近邻中可能存在不相关的样本,从而带来了一定的噪声。针对这一问题,基于稀疏表示,提出一种能够自适应确定相关特征个数的方法。实验结果表明该方法相对于直接采用近邻选择近邻的方法能够取得更好的合成效果。2.提出一种基于幻象技术的异质人脸图像图像合成方法。现有异质人脸图像合成算法合成图像时多采用线性组合的方式,而线性组合或线性加权平均可以看做一低通滤波器,会过滤掉一些高频细节信息。受人脸幻象思想启发,提出一种两步框架来进一步增强现有方法合成图像质量:第一步可以为现有的异质人脸图像合成方法例如提出的稀疏特征选择方法;第二步是模拟生成丢失的高频细节信息,并将之叠加到第一步的合成结果上去。实验结果表明该方法合成图像高频细节信息更加丰富。3.提出一种基于直推式学习的异质人脸图像合成方法。现有异质人脸图像合成算法多是基于归纳式学习的,这些方法都取得了一定的效果,但是这些方法因为是对训练样本进行最小化经验风险误差,使得测试样本风险误差增加。而直推式学习是将所有的样本(包括测试样本和训练样本)一起进行学习,以最小化测试样本风险误差为目标,因而能够减小风险误差。因而,结合贝叶斯概率图模型,提出一种基于直推式学习的异质人脸图像合成方法来最优化输入图像的重构约束和输出图像的合成约束。实验结果表明该方法能够取得相较于归纳式学习方法更好的主观和客观效果。4.构建了合成人脸画像质量评价库,并提出一种合成人脸画像客观质量评价框架。首先基于成对比较的思想对现有的五个代表性异质人脸图像合成算法合成的画像进行了主观质量评价;进而利用现有的质量评价算法来对合成的人脸画像进行质量评价,并计算其与主观质量评价结果的一致性;实验结果表明现有的质量评价方法得到的评价分数与主观分数一致性不高,即现有的方法评价的结果与人主观视觉感官一致性不高。从而启发探索设计更加合理、更适用于合成人脸图像的客观质量评价算法框架。