局部生成人脸检测及定位算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:simon_dai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的广泛应用,通过变脸、换脸或生成对抗网络(Generative Adversarial Network,GAN)等方式生成的虚假人脸在网络中不断传播。因此,研究有效的人脸取证技术变得尤为重要。针对生成人脸检测,当前其研究主要关注整幅人脸图像均为生成的。但在一些现实场景中,一幅生成人脸图像中只是小部分局部区域是生成的,甚至很小部分,其余绝大部分区域都是自然的,例如人脸图像复原、眼镜去除、掩模去除等。由于生成区域可能非常小,因此在经过具有多个池化层的深度卷积网络中可能会缩小到一个点,甚至在特征图上完全没有。从而可能导致全局生成人脸检测方法在局部生成人脸检测上性能很差。针对局部生成人脸检测和定位,据我们所知,目前还没有公开的局部生成人脸数据集。针对局部生成人脸检测,Xception作为一种在全局生成人脸检测中使用广泛的模型,具有不错的性能,但其不完全适用于局部生成人脸的检测。针对局部生成人脸定位研究,RRU-Net是最新提出的具有良好性能的针对非人脸图像普通篡改方式的定位模型,但其在应用于有攻击的局部生成人脸定位时,其鲁棒性仍需进一步提高。因此,本文将围绕局部生成人脸的检测及定位开展以下三方面研究工作:(1)为了开展局部生成人脸的研究工作,本文在FFHQ真实人脸数据库70000张人脸图像的基础上,利用Matlab创建了具有不同大小和形状的二进制掩模图并与原始人脸图像进行拼接得到含有缺失区域的人脸图像,然后通过已公开的多元图像修复方法深度修复缺失区域,构造了首个基于GAN的局部生成人脸数据集LGGF。该数据集共有840000张图像。(2)提出了一种改进Xception的检测模型:(a)删除了四个残差块,调整了参数,加入了注意力机制;(b)含有空洞卷积的Inception模块被用于获得多尺度特征;(c)利用特征金字塔网络(Feature Pyramid Networks,FPN)获取多层次特征。实验结果表明提出的改进Xception模型在检测精度、鲁棒性和泛化性方面总体优于现有模型,尤其针对具有较小生成区域的人脸图像。(3)提出了一种融合RRU-Net和去噪操作模块的局部生成人脸鲁棒定位模型。为了提高模型的鲁棒性,首先,引入去噪操作模块以抵抗深层网络中产生的噪声扰动,增强模型对局部生成区域特征的学习;然后,提出局部生成损失函数(LGIo Uloss),并结合样本平衡损失函数(Focal loss),有效增强网络在训练过程中对局部生成区域的关注。最后,通过一系列消融和对比实验验证了提出模型相对于RRU-Net的改进以及其他现有模型的优越性。
其他文献
随着物联网的迅速发展,射频能量采集技术的应用范围也逐步扩大。作为射频能量采集系统中的能量接收和转换器件,整流天线在系统中发挥着重要的作用。整流天线的一个研究方向是在有限的功率密度环境下尽可能地吸收更多能量以提高能量转换效率。实际的能量采集过程中,天线的辐射方向、极化方式以及与整流电路的合并方式等都制约着能量采集系统的接收能力。本文设计了极化可重构全向圆极化天线,通过切换极化方式在辐射范围内提高天线
随着图像处理技术的发展和嵌入式硬件的进步,基于机器视觉的无人机着陆已经成为非常热门的研究领域。无人机视觉着陆控制是无人机飞行控制系统的关键技术之一,它对无人机着陆的稳定性,准确性,可靠性和实时性能有很高的要求。基于视觉的着陆系统是学者们研究的热点,与传统的系统相比,该系统具有成本低、抗干扰能力强的优点。实现无人机视觉着陆的基本要求是获取无人机所处环境的信息并通过该信息准确估计无人机的位姿姿态,其中
由于光照、色调等因素的干扰,采集自不同摄像头的同一个行人的图像通常存在视觉差异,而不同行人的图像却可能很相似,因此往往很难用线性模型来区分它们。我们通过对传统的只能用于单视图场景的协同表示分类器(CRC)进行跨视图非线性扩展,提出跨视图核协同表示分类(CV-KCRC)框架并将之应用于行人重识别。CV-KCRC不仅能增强CRC处理跨视图异类样本线性难分问题的能力,而且还能提升了模型的判别力和鲁棒性。
近年来,物联网(Internet of Things,Io T)技术发展迅速,其应用领域已经扩展到智能家居、智能医疗、农场监测和智慧交通等方面。由于无线通信环境的开放性,安全与隐私问题是物联网发展的关键因素。认证方案是实现物联网安全的第一道防线,但是单一认证方案容易造成传感器节点认证的延迟、网络资源占用问题,而群组认证方案能够提高网关对节点的认证效率,适合节点数目繁多的物联网环境。此外,若节点以真
信息隐藏是保证网络通信数据安全的重要手段之一,发送方可以通过密钥和特定算法将秘密信息嵌入到载体中,再由接收方通过密钥和特定算法提取出秘密信息。其中,图像因其易获取性和多样性,成为目前使用最为广泛的隐藏载体之一。信息隐藏技术不仅能够保证秘密信息本身的安全,还能保证载密图像进行可靠的传输,因而受到国内外学者的广泛关注及深入研究。传统自适应图像隐写算法对于待改变像素位置选择大多依赖人为经验设计,需要耗费
深度神经网络在图像分类、目标识别等任务中已经取得了显著效果,然而训练集(源域)和测试集(目标域)的数据分布不一致会导致模型的性能大幅下降。领域自适应在解决训练数据与测试数据分布不同方面具有重要的现实意义。本文重点研究在目标域无标签的情况下提取领域不变特征,提高模型对于目标域的分类准确率。现有的域适应方法忽略了目标样本的分类信息,在特征提取过程中生成器往往在分类边界产生有分歧的特征从而影响了模型分类
心理学研究表明图像刺激会唤起人类的不同情感响应,图像情感分类任务旨在运用机器学习模型自动预测观测者看到图像时的情感反映,构建图像情感自动预测模型在社交网络、互动广告推广等场景中具有重要的应用价值。现有研究表明相比于整幅图像,图像的某些局部区域会更易引起人类情感响应,而注意力机制则可以有效学习图像中与任务关联的关键区域。为此,本论文提出了联合视觉显著性的图像情感分类网络模型。具体工作包括两个方面:(
随着社会的快速发展,微信、淘宝、微博等社交媒体用户数数以亿计,通过社交媒体可以发表心情、感想和对各类事件的看法等,并由此产生了大量的社交文本数据。通过对社交文本中的情感信息进行情感倾向挖掘,可以很直观的反映出用户个人的情感倾向和社会舆论问题。在政府舆论监督、企业管理决策、个人情感管理等方面都发挥着重要的作用。目前,针对传统文本情感倾向的分析研究已经比较成熟,但社交短文本的情感分析研究依然还比较落后
深度学习在给计算机视觉领域带来革新的同时,也对社会安全产生着威胁。尤其是近年来由人脸交换技术制作的伪造人脸视频,不仅侵犯了个人隐私还影响了社会安全。目前大量的研究开始专注于检测这类伪造人脸视频,但在检测模型的设计阶段普遍缺乏针对动态瑕疵、纹理瑕疵等伪造人脸特殊性的考虑,导致现有模型难以有效地融合人脸视频的空间与时间特征。另外,缺乏足够的约束会导致模型学习到冗余信息,进而使伪造检测任务上特征的表达精
射频识别技术(Radio Frequency Identification,RFID)已先后在多个领域内成功地应用,给人们带来了诸多的便利。而且随着物联网热潮的兴起,深入到人们日常的生活工作出行中,人们也越来越离不开射频识别等技术。然而,基于射频识别技术的系统工作在开放信道中,往往面临着窃听、重放、去同步等多种类型的安全威胁,在交易或使用过程容易出现隐私信息泄露、财产损失等问题,这将会阻碍物联网技