基于时空特征的深度伪造视频篡改检测

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:ooqqa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Deepfake是一种基于深度学习的人脸图像操纵技术。如今Deepfake视频人们已经很难通过肉眼区别出真伪。虽然该项技术带来了很多积极的应用,但是这些篡改的视频会给我们的社会带来巨大的潜在威胁,例如被用来制作假新闻和色情视频。因此,现在我们亟需找到一种可以有效识别深度伪造视频的方法。目前常见的Deepfake视频检测方法是基于图像每一帧的空间特征信息,它们并没有有效地利用视频的时空特征信息。Deepfake检测模型依赖于选定的数据集,对于不同类型的篡改视频,跨数据集检测真伪的泛化性能较差。针对上述问题,本文采用了基于3D CNNS和Efficient Net-LSTM的方法进行深度伪造视频篡改检测。相比于传统方法,这两种方法可以有效提取Deepfake视频的时域特征和空域特征的不一致的特点。第一,三维卷积的方法关注的对象为一整段视频,不再是单帧的图像,可以同时提取视频的两种特征。第二,Efficient Net-LSTM方法是将Efficient Net和LSTM这两种独立的模型进行了结合。首先用Efficient Net网络进行每一帧人脸图像空间特征的提取,再将每一帧的人脸图像特征送入到LSTM中进行人脸时序特征的学习,最后通过全连接神经网络给出最终的预测结果。本文在DFDC和Celeb-DF这两个数据集上使用I3D、MC3、3D RESNET-34、R(2+1)D四个三维卷积模型和EfficientLSTM模型分别进行单数据集和跨数据集实验,并且与之前的主流算法进行了对比。通过实验可以表明:(1)基于I3D模型的3D CNNS方法在Deepfake检测挑战数据集和Celeb-DF数据集上具有较高的准确率和较强的鲁棒性,准确率可达96%以上,AUC值可达0.92,均优于现有模型,证明了模型的有效性。(2)基于3D CNNS的方法泛化性能均优于其他现有模型。(3)Efficient Net-LSTM和3D CNNS方法都是聚焦于时空特征,在泛化性能方面3D CNNS的方法更强。相比于LSTM方法,基于3D CNNS的方法可以更有效地提取时空特征。时空特征可以捕获到Deepfake方法之间的共有属性,三维卷积网络的方法在Deepfake检测中解决了泛化性差的问题。
其他文献
粒子物理是研究基本粒子的性质及其相互作用的基础学科,是当今科学技术发展的最前沿。近年来国际上对气体径迹探测提出了更高的物理需求,时间投影室(TPC)作为核心径迹探测器的重要选项,要求其探测精度达到百微米量级。面向高位置精度(~100μm)的探测需求,不但要发展相应的探测技术,还需要考虑针对大尺寸探测系统的标定研究,紫外激光模拟特定径迹是一种新型、有效的测试方法,国际上ALICE、STAR时间投影室
快速傅里叶变换(Fast Fourier Transform,FFT)算法是离散傅里叶变换(Discrete Fourier Transform,DFT)或其逆变换的快速算法,是处理器基础软件生态的重要组成部分,在工程、科学、物理和数学等领域的应用十分广泛。实数FFT算法作为输入或输出为实数序列的离散傅里叶变换,在智能计算、图像处理、数学等领域具有广泛的应用。随着应用场景的日益复杂化,这些应用领域
随着时代的发展人们对服务质量的要求不断提升,银行是人们生活中必不可少的一部分,很多人发现在银行办理业务所需要等待的时间非常长。如果银行不能够解决该问题,将会直接影响其市场竞争情况。目前,大部分银行已经引进了先进的排队叫号系统,基本上实现了排队的智能化处理。但是,由于现有排队叫号系统自身设计理念存在的问题,导致银行窗口的综合利用率较低,存在部分窗口闲置,部分窗口等待时间较长的问题。为此,本文研究一种
随着信息技术的快速发展,以通信网络为基础的现代通信技术已深入到人们生产生活中,保证信息的高速、安全传输已成为各国通信领域的重要研究目标。混沌光场因其类噪声的随机性及对初值条件敏感等非线性动力学特性,已经被广泛应用在保密通信、物理随机数产生等研究领域中。外腔反馈的半导体激光器作为典型的混沌动力学系统,可产生高维的混沌信号,为研究非线性效应和复杂的光子动力学提供了良好的平台。然而,外腔反馈会引入周期性
2021年12月21日,省委书记、省新冠肺炎疫情防控工作领导小组第一组长袁家军深入绍兴市上虞区防疫集中隔离点、封控村社等场所,进一步检查调研疫情防控工作,看望慰问一线干部群众,并在上虞区疫情防控指挥部主持召开座谈会,听取有关情况汇报,研究部署下一步重点工作。
期刊
图像分割简单来说就是将一副图像分割成互斥的有意义的区域,它是计算机视觉的基本问题.在过去的几十年里,已经有大量的关于图像分割的文献发表,广泛应用在医学图像处理、目标跟踪、识别、图像重建等领域.在以往的图像分割技术中,许多成功的方法都得益于将图像元素映射到图上.然后利用图论的相关理论知识在离散空间中求解分割问题.本文主要研究基于图论的图像分割的一些特性及其应用,主要工作如下:(1)针对传统的分水岭算
山西省汾阳市田村后土圣母庙壁画是明代道教壁画的代表作,展现了神话中的后土圣母传说和祭祀卤簿的内容,反映了山西后土信仰。本文对汾阳田村圣母庙壁画的艺术和内容进行了梳理。圣母庙壁画采用工笔重彩、沥粉贴金的绘画技艺,绘制了侍女、太监、文武官员、殿堂、亭廊、山石花木、车马器具等众多的人物、事物形象,其中的人物造型具有动态多样性的特点,服饰器具则反映出贵族奢侈生活的样貌,具有极高的艺术价值。通过文献研究法、
心力衰竭,简称心衰,是各种心脏疾病发展的终末阶段。心衰患者预后死亡率是高度可变的,死亡率从5%到75%不等。因此评估心衰患者预后死亡率,根据预测死亡率情况来使医生制定更加科学的治疗方案,是防止病情进一步恶化,从而降低医疗开支的一种重要手段。目前,针对心衰预后死亡率研究模型主要分为两种,一种是根据医学知识和统计学出发的医学领域模型,另一种是依靠计算机算法的机器学习和深度学习模型。但这些模型都存在着患
小样本图像分类是计算机视觉领域的一项重要任务,现实生活多数应用场景都存在样本数据量较少的问题,使该领域受到国内外学者广泛关注。本文基于胶囊网络模型,针对不带噪声相对复杂的小样本数据集提出融合胶囊网络与Darknet的分类模型,针对带噪声的复杂小样本数据集的分类提出融合胶囊网络与深度残差收缩网络的模型,并通过实验验证了所提融合模型的有效性。本文具体工作如下:(1)针对相对复杂的小样本数据集的分类问题