基于关键帧的Deepfake视频检测算法

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:BCB
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Deepfake伪造人脸对信息的可信度、可靠性和安全性构成了极大的威胁。不法分子利用人脸交换技术生成伪造图像和视频误导群众,造成了不良影响,甚至引发恐慌。为了抵制虚假信息的传播,Deepfake检测技术受到广泛关注。现有的视频检测方法为避免数据冗余、节约计算资源,大多是随机选取视频的多帧或部分段作为检测对象。然而,这种选择策略会降低检测对象的表征能力,性能也会受到限制。因此我们提出了一种用关键帧代替视频作为输入的方法。在此基础上,对Deepfake视频进行检测。本文研究工作如下:(1)针对现有算法在检测时将视频的空间和时间特征割裂开的问题,提出了一种基于关键帧的时空双流伪造视频检测网络。本算法通过帧间差分选择关键帧代替视频,利用空间流和时间流充分挖掘关键帧中潜藏的伪造信息,再将空间和时间特征进行融合,输入到动态路由算法中获得最终的分类结果。实验表明,本算法在Deepfake视频检测和伪造类型识别方面的性能均优于现有的方法,检测速度也得到了大幅度的提高。(2)针对现有算法在泛化实验上性能明显下降的问题,提出一种基于关键帧的频域多特征融合的视频检测算法。本算法利用频域的均方误差提取关键帧作为检测对象,然后学习主帧的帧内伪影特征和关键帧间的不一致性特征,并将它们进行融合,输入到全连接层中获得检测结果。实验表明,本算法在跨数据集检测任务中的性能优于现有的方法,具有较强的泛化性。
其他文献
射频接收机是微波应用系统中的关键功能电路。常规的变频式接收机都需要一个独立的本振源来提供本振信号,以完成与射频输入信号的下变频。而自振荡混频接收机则通过有源器件在特定工作条件下的振荡产生本振信号,同时利用有源器件的非线性特性完成混频,避免了独立本振源的使用,因而在成本、功耗、结构方面具有显著的优势。另外,如果将自振荡混频过程中的振荡信号加以复用,不仅利用其做内部本振信号以实现混频,还将其引出以作为
学位
随着人工智能技术的不断进步,智能化机器人已是时代发展的需求。机器人对于复杂的动态环境,需要像人类一样拥有感知、决策、行动的能力。本文根据操作问答任务的设计需求,借助相应的多模态任务数据集,利用人工智能算法,构建一套集合视觉、听觉的机器人感知决策行为框架,从仿真环境和实际场景验证本文的协作机器人系统的先进性和实用性。本文的创新性工作包括以下内容:(1)针对机器人系统的各个设备之间的特性构建一种模块化
学位
大规模多输入多输出(Massive Multiple-Input Multiple-Output,Massive MIMO)技术已经成为实现5G的一项关键技术。Massive MIMO凭借其数据传输效率高、连接稳定和延迟低等各方面优势在实际生产中得到广泛应用。在Massive MIMO系统中,复杂程度和天线数量是密切相关的,随着天线数量增加,算法的复杂程度也随着变高,因此在接收端需要一种复杂程度低
学位
图像作为日常生活中重要的信息传播载体,其清晰度直接决定人们能否准确地从中获取有用的信息。由于成像系统和设备的不完善,以及光照等外界因素的影响,数字图像在形成、传输和存储过程中都会引入不同类型的噪声,造成图像信息丢失。随着卷积神经网络在图像处理领域的快速发展,基于卷积神经网络的合成噪声去噪算法无法满足真实噪声图像去噪的需求,实用性不足,且复杂的网络模型亦无法满足高效处理的需求。针对以上问题,本文主要
学位
集成电路产业已经成为世界强国的国家战略,芯片制造的关键技术和设备被少数欧美发达国家垄断。特别在射频、微波芯片封装中,键合金丝的拱高、跨度等参数对微波传输特性的影响很大,而这些参数的自动检测设备目前还依赖进口,为了打破技术封锁,弥补相关领域的研究空缺,本文针对实现键合金丝拱高和跨度的微米级测量技术展开了研究,具体内容如下:首先,设计并搭建了键合金丝拱高和跨度的图像采集、处理和实验平台。采用嵌入式方案
学位
气体检测是预防各类安全事故发生的重要手段。在日常生活、工业生产中往往会产生大量可燃易爆、有毒有害的气体,若发生泄漏不能及时发现并采取相应措施,将对长期生活、工作其中人员的身体健康带来极大安全隐患。同时,此类气体若积累到一定浓度,极易发生爆炸事故并将带来灾难性的后果。多年以来,此类安全事故层出不穷。因此如何快速、准确实现对泄漏气体的检测,具有广泛的应用价值。本文提出了一种采用传感器阵列与模式识别算法
学位
基于深度学习的车辆重识别旨在利用车辆外观特征在大型图库中检索目标车辆,实现车辆追踪,是智慧交通系统的一项核心技术。随着人工智能和大数据技术的发展,该技术在嫌疑追踪、无人停车场管理、智慧物流和自动驾驶等领域具有广泛应用,尤其是在当车牌被遮挡、移除、破坏等情况下,该技术发挥了巨大作用。由于车辆图像是由不同的摄像机拍摄得到,拍摄时光照、视角、分辨率等条件各不相同,导致车辆重识别面临着类间差异小、类内差异
学位
目前,通信技术的相关应用已经广泛的服务于人们的生产生活,而无线系统的资源优化技术又是通信领域的研究重点。相较于传统的蜂窝系统,超密集网络拥有更丰富的基站资源,可以为用户终端提供更高质量的服务体验。然而,密集部署的基站不仅带来了严重的小区间干扰,而且容易导致基站出现空载或过载现象。此外,通信环境的参数瞬息万变使得传统功率分配算法难以在实时场景中应用推广。本文针对上述问题进行了研究,提出了超密集无线网
学位
随着网络技术的快速发展和图像获取设备的日益普及,丰富多彩的数字图像成为传递信息的重要媒介。虽然数字图像给人们生活带来便利,其背后也潜藏着安全隐患。因此,如何保护好数字图像的完整性和真实性,是数字图像取证领域将要面对的巨大挑战。尤其是近几年GAN在图像领域取得的巨大成功,其生成的能够以假乱真的高清图像更是引起了相关领域各位专家学者的高度关注。挖掘自然图像与GAN生成图像之间存在的差异进而精准高效地鉴
学位
终端直通(Device-to-Device,D2D)通信可以不通过基站转发,建立直接通信链路,实现用户的信息交互。D2D用户以复用模式工作,能有效减轻基站负荷,提升系统吞吐量,但同时也会产生同频干扰问题。此外,引入中继技术,可有效解决D2D对无法直接通信的难题。因此,本文针对同频干扰和中继选择问题,对D2D对的信道分配、中继选择和功率控制进行研究,主要内容包括:(1)针对信道分配中,多个D2D对复
学位