论文部分内容阅读
随着人脸识别技术的发展,采用人脸生物特征信息进行身份认证已经成为一种趋势。人脸识别技术已在一系列与边境入口管理、犯罪监控与调查、金融安全保护密切相关的场景中得到了广泛的应用,这给我们的日常生活带来了极大的便利。然而,越来越多的调查研究表明,现有人脸识别系统极容易受到攻击者的恶意欺骗攻击,攻击者通过伪造人脸能轻易地欺骗现有最先进的商用人脸识别系统。因此,鉴别人脸识别系统所采集的人脸图像、视频真实性和完整性的人脸欺骗攻击取证技术应运而生。面向人脸识别欺骗攻击的数字图像取证技术已成为生物特征识别安全领域的一个重要研究领域。
人脸欺骗攻击是一种发生在人脸识别系统外部,通过伪造的人脸图像、视频等方式对人脸识别系统发起攻击,实现对合法用户身份仿冒。它极大的损害了合法用户的利益并且严重地威胁了人脸识别系统的安全,甚至威胁了公共安全与社会的稳定。因此,为了提高现有人脸识别系统抵御人脸欺骗攻击的能力,本文对常见的人脸照片/视频欺骗攻击以及最新的人脸融合欺骗攻击进行取证研究,以不同欺骗攻击方式伪造的人脸图像为研究对象,结合传统数字图像取证理论,围绕不同欺骗攻击所遗留的痕迹/线索开展了较为深入的研究,具体的主要工作归纳如下:
第一,提出一种基于彩色纹理马尔科夫特征与支持向量机特征递归消除的人脸照片/视频欺骗攻击取证算法。本文从图像重获取的角度,分析真实人脸与伪造(照片/视频攻击)人脸在面部相邻像素的差异,并且充分考虑了颜色空间中颜色通道之间的纹理互信息。首先,通过方向差分滤波器捕捉真实人脸与伪造人脸的面部纹理差异,将其视为彩色纹理马尔科夫特征的低级特征;然后,利用马尔科夫过程对面部纹理差异建模,形成低级特征的高级表征。实验结果表明,提出的方案在四个公共基准数据集上能够有效地抵御人脸识别中的照片/视频欺骗攻击。
第二,提出一种基于相机传感器模式噪声的人脸融合欺骗攻击取证算法。与现有从图像纹理差异进行取证的方法不同,本文以真实人脸与伪造(融合)人脸图像来源差异为出发点,通过捕捉伪造(融合)人脸生成过程对相机传感器噪声产生影响所留下的痕迹,实现了人脸融合欺骗攻击的检测。本文首先提出一种基于导向图预测的传感器模式噪声提取算法,它能有效抑制图像场景内容对相机传感器噪声干扰。然后,通过提取传感器噪声量化统计特征,有效地实现了真实人脸和伪造(融合)人脸的鉴别。实验结果表明所提出的人脸融合欺骗攻击取证算法的性能优于现有的检测方法。
第三,提出一种基于生成对抗网络的人脸融合攻击协助者面部溯源取证方法。与已有采用人脸融合逆过程实现的攻击协助者面部复原方法不同(该方法对生成融合人脸的操作与融合参数极为敏感),本文设计了一种具有对称双重网络结构和两种复原损失的人脸去融合生成对抗网络,有效地将隐含在融合人脸中的“攻击者”和“协助者”身份信息进行分离,进而首次提出了与人脸融合操作无关的、基于学习生成式的人脸融合攻击协助者的面部复原算法,实现了更深层次的取证研究。实验结果表明提出的人脸去融合生成对抗网络性能优于现有的融合人脸复原方法,并且所提出的方法在实际身份验证场景中对人脸融合攻击检测同样极具潜力。
第四,构建了一个公开发布的人脸融合欺骗攻击测试基准数据集HNU-FM。目前已有的人脸融合欺骗攻击检测研究中所使用的数据集存在真实人脸与融合人脸样本严重不均衡、融合因子固定,且数据集未公开发布等问题。本文构建了一个公开发布的人脸融合攻击基准数据集HNU-FM。该数据集针对不同的应用场景设计了四种评估协议,每个评估协议中的真实人脸图像和融合人脸图像具有均衡的样本数。此外,本文还对现有人脸融合攻击检测方法在HNU-FM数据集上进行了性能评估,并创新地在HNU-FM数据集中分析了不同检测方法随融合因子变化时的检测稳定性,为有效地评估人脸融合欺骗攻击检测方法的性能提供了一个公平的测试平台。
人脸欺骗攻击是一种发生在人脸识别系统外部,通过伪造的人脸图像、视频等方式对人脸识别系统发起攻击,实现对合法用户身份仿冒。它极大的损害了合法用户的利益并且严重地威胁了人脸识别系统的安全,甚至威胁了公共安全与社会的稳定。因此,为了提高现有人脸识别系统抵御人脸欺骗攻击的能力,本文对常见的人脸照片/视频欺骗攻击以及最新的人脸融合欺骗攻击进行取证研究,以不同欺骗攻击方式伪造的人脸图像为研究对象,结合传统数字图像取证理论,围绕不同欺骗攻击所遗留的痕迹/线索开展了较为深入的研究,具体的主要工作归纳如下:
第一,提出一种基于彩色纹理马尔科夫特征与支持向量机特征递归消除的人脸照片/视频欺骗攻击取证算法。本文从图像重获取的角度,分析真实人脸与伪造(照片/视频攻击)人脸在面部相邻像素的差异,并且充分考虑了颜色空间中颜色通道之间的纹理互信息。首先,通过方向差分滤波器捕捉真实人脸与伪造人脸的面部纹理差异,将其视为彩色纹理马尔科夫特征的低级特征;然后,利用马尔科夫过程对面部纹理差异建模,形成低级特征的高级表征。实验结果表明,提出的方案在四个公共基准数据集上能够有效地抵御人脸识别中的照片/视频欺骗攻击。
第二,提出一种基于相机传感器模式噪声的人脸融合欺骗攻击取证算法。与现有从图像纹理差异进行取证的方法不同,本文以真实人脸与伪造(融合)人脸图像来源差异为出发点,通过捕捉伪造(融合)人脸生成过程对相机传感器噪声产生影响所留下的痕迹,实现了人脸融合欺骗攻击的检测。本文首先提出一种基于导向图预测的传感器模式噪声提取算法,它能有效抑制图像场景内容对相机传感器噪声干扰。然后,通过提取传感器噪声量化统计特征,有效地实现了真实人脸和伪造(融合)人脸的鉴别。实验结果表明所提出的人脸融合欺骗攻击取证算法的性能优于现有的检测方法。
第三,提出一种基于生成对抗网络的人脸融合攻击协助者面部溯源取证方法。与已有采用人脸融合逆过程实现的攻击协助者面部复原方法不同(该方法对生成融合人脸的操作与融合参数极为敏感),本文设计了一种具有对称双重网络结构和两种复原损失的人脸去融合生成对抗网络,有效地将隐含在融合人脸中的“攻击者”和“协助者”身份信息进行分离,进而首次提出了与人脸融合操作无关的、基于学习生成式的人脸融合攻击协助者的面部复原算法,实现了更深层次的取证研究。实验结果表明提出的人脸去融合生成对抗网络性能优于现有的融合人脸复原方法,并且所提出的方法在实际身份验证场景中对人脸融合攻击检测同样极具潜力。
第四,构建了一个公开发布的人脸融合欺骗攻击测试基准数据集HNU-FM。目前已有的人脸融合欺骗攻击检测研究中所使用的数据集存在真实人脸与融合人脸样本严重不均衡、融合因子固定,且数据集未公开发布等问题。本文构建了一个公开发布的人脸融合攻击基准数据集HNU-FM。该数据集针对不同的应用场景设计了四种评估协议,每个评估协议中的真实人脸图像和融合人脸图像具有均衡的样本数。此外,本文还对现有人脸融合攻击检测方法在HNU-FM数据集上进行了性能评估,并创新地在HNU-FM数据集中分析了不同检测方法随融合因子变化时的检测稳定性,为有效地评估人脸融合欺骗攻击检测方法的性能提供了一个公平的测试平台。