基于多音素选择和空频域结合的唇型篡改检测方法

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:feiyangsuc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,社会上有关“换脸”的负面报道层出不穷,例如捏造多媒体虚假新闻来侵犯公民隐私名誉,危害个人财产安全等。因此,发展高效可靠的人脸伪造鉴别技术,保护网络空间中十分重要的人脸安全,成为了当下备受关注且亟待解决的问题。目前,人脸伪造检测方法主要分为基于人工特征、基于深度学习、基于多任务迁移、基于伪造过程、和基于数字水印5类方法。其中,大部分检测方法都是从整个面部区域提取视觉特征,虽然在大型公开数据集上取得了较好的检测效果,但是这些通用的检测方法却很难处理局部区域篡改情况,例如唇型篡改。配合语音替换的唇型篡改是危害最大的一类深度伪造技术。一方面,唇型篡改只修改面部局部区域,修改较小,当前缺少专门的高准确性检测方法;另一方面,已有检测方法的鲁棒性不强,视频压缩等操作会导致检测准确性大幅下降。为了提升唇型篡改检测的准确性和鲁棒性,本文从多音素选择和空频域结合两个角度研究检测方法。研究工作的主要创新点与成果归纳如下:(1)基于多音素选择的唇型篡改检测方法为了提升唇型篡改检测的准确性,本文提出了基于多音素选择的唇型篡改检测方法。首先在音素和唇型之间建立了 12种鲁棒映射,并根据映射对唇型帧进行分类,区别于以往通用方法按时间顺序直接对视频帧进行预处理的操作。然后测量真假唇型的开合幅度差值,选择差值大的音素训练对应的子分类模型进行集成判断,最大限度地提高真假唇型的可区分性。进一步地,根据不同伪造方法在唇型开合幅度上的共性,筛选出特定的子模型进行集成,实现分类溯源多种篡改方法的目的。此外,还建立了一个新的自组织唇型篡改视频数据集,有利于后续唇型篡改检测工作的发展。实验表明,得益于音素-唇型映射的建立,本方法在真假二分类评估和多分类评估中与现有方法相比均取得了较高的检测准确率,AUC上分别达到了 91.60%和97.85%。特征可视化的结果也直观体现了唇型开合幅度的有效性。(2)基于空频域结合的唇型篡改检测方法无损条件下,基于多音素选择的检测方法能取得较好性能,但实际中广泛存在的压缩操作会对视频质量造成影响,导致其检测性能的下降,即检测方法的鲁棒性不强。针对这一问题,本文通过分析频率信息在图像结构和梯度反馈上的优势,提出了基于空频域结合的唇型篡改检测。空域上设计唇型特征提取网络,由自适应和轻量级注意力两个子模块组成,灵活应对脸部转动和遮挡等复杂场景;频域上设计频率特征提取网络,将低、中、高频先分离再堆叠,保持各分量间的独立性。在两路特征融合阶段与大多数均匀融合不同,采用唇型特征引导下的有侧重融合方法,抵抗压缩和图像尺寸缩放的影响。训练中,设计双重损失函数进行细粒度约束,分开不同特征的同时拉近相同特征。实验表明,频率信息的引入能有效改善压缩情况下的检测鲁棒性,在FaceForensics++数据集上的ACC和AUC分别为92.88%和95.07%,消融实验的结果也充分验证了重点模块的有效性。
其他文献
美丽乡村建设是建设美丽中国、实施乡村振兴战略的重要内容,党和政府从宏观层面对美丽乡村建设做出战略部署,美丽乡村建设,强调培育新乡贤文化、发挥新乡贤作用。基层政府如何在美丽乡村建设参与主体的构建中引入新乡贤,以及如何发挥新乡贤在美丽乡村建设中的积极作用,成为基层政府推进美丽乡村建设的重要内容。本文对新乡贤参与美丽乡村建设存在的现状和对策进行研究。本文采用问卷调查法、访谈法和案例分析法,分析和总结新乡
学位
返乡作为青年群体选择的一种发展方式,在我国大力倡导乡村振兴的背景下变得越来越频繁,为我国的乡村振兴事业注入了青年力量,这也成为青年进行就业选择的重要现象。青年返乡行动从之前的简单无序逐渐发展成为有组织性的行为,蒲韩新青年公社便在这一过程中应运而生,作为青年返乡的支持阵地,使得返乡行动朝着更加专业和高效的方向发展。但是由于成立时间有限,蒲韩新青年公社尚存在发展的可持续性较低等问题。由于当代的青年群体
学位
学位
翻译目的论强调翻译是有目的的行为,译文的目的与预期功能是译者选择翻译策略的决定性因素,这不仅对翻译实践有着重要的指导意义,也有利于中国对外宣传事业的发展。近年来,中国的外宣工作取得了丰硕成果,《习近平谈治国理政(第二卷)》是中国与其他国家进行文化与政治交流的代表作,在中国外宣事业中起着十分重要的作用。本文在借鉴翻译目的论和参阅《习近平谈治国理政(第二卷)》的基础上,首先介绍翻译和外宣的关系,其次对
学位
目的:本研究通过对额叶损伤患者在不同情绪背景下的听觉自动加工实验的研究,分析各个频带的能量幅值神经振荡的特征。通过事件相关振荡技术研究情绪引起额叶损伤患者脑电变化的特征,以期为法医临床学司法鉴定中额叶损伤的评定提供可行的神经电生理学技术方法和客观的电生理学指标。方法:利用时频技术分析了 24名健康受试者、12名左侧额叶损伤患者以及12名双侧额叶损伤患者在正性、中性两种视觉情绪背景下跨通道听觉odd
学位
目的:本研究的目的是建立小鼠踝-距下关节联合不稳的动物模型,并且探究踝-距下关节联合不稳与创伤性骨关节炎(PTOA)之间的关系。方法:选择21只6周龄的C57BL/6J雄性小鼠,用两周的时间来适应饲养环境,并且用5天的时间来训练小鼠使它们熟悉平衡木和步态测试实验。待小鼠达到8周龄时随机分为三组,其中韧带切断的两组小鼠在显微设备下切断其右后足的踝-距下关节周围韧带来模拟踝-距下关节的急性损伤以建立小
学位
采用不同掺量的直投式改性剂对SBS改性沥青进行改性,并进行了不同改性剂掺量下,改性沥青的PG高温分级试验、MSCR试验和主曲线测试。PG分级试验结果表明,改性剂掺量的提高,能够显著提升SBS改性沥青的高温分级。MSCR试验结果表明,直投式改性剂能够显著降低SBS改性沥青蠕变回复率的温度敏感性,改善SBS改性沥青的抗永久变形能力和其对于高温的温度敏感性,并能在一定程度上降低改性沥青的应力敏感性。主曲
期刊
江南是我国当代著名通俗小说作家,作品横跨青春、奇幻、武侠等多个领域,其中质量最高、数量最丰、影响最大的是奇幻小说。幻想是人类的天性,神话是文学的原型,在奇幻小说里不难发现神话的人物、意象和叙事结构屡次再现。江南奇幻小说最主要的原型来自于北欧神话。本文运用神话——原型批评理论,辅之神话学、结构主义、叙事学等理论,立足具体文本,剖析江南奇幻小说的北欧神话原型。第一章分析江南“九州”系列中的北欧神话意象
学位
以往研究表明,个体加工面孔的专家化能力会随着知觉经验的增加而逐渐增强。在面孔知觉时使用整体加工就是面孔专家化的一种表现形式。相较于长期知觉经验少的异族面孔,个体在知觉长期知觉经验多的本族面孔时更倾向于使用整体加工。然而一些研究却发现,人们对于长期知觉经验不同的本族和异族面孔表现出同等程度的整体加工。因此,长期知觉经验作用于整体加工的必要性仍有待验证。此外,短时训练的研究发现,少量短期知觉经验也能诱
学位
利用管道机器人或管道内检测器等装备进行管道维护检测,是保证油气管道投产与安全运营的重要技术手段。管道机器人在其运行过程中,由于管道内存在凹陷与焊缝等缺陷,难免会与其产生冲击碰撞,这会影响管道机器人的稳定性与内检测作业的效果。因此需要对管道机器人冲击凹陷过程进行分析,为管道机器人稳定运行提供正确的设计和运行参数以及理论基础。本文以管道机器人通过凹陷这种外部障碍的过程为例,对管道机器人进行受力分析,建
学位