Research on Video Forgery Detection Algorithms Usi

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xinxinde1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
每天都有数以百万计的视频被制作并上传到网上,其中大部分视频的内容都没有经过审核。此外,VideoEditor、AdobePhotoshop、WindowMovieMaker、以及AdobeAfterEffects等视频编辑软件也被广泛使用。这些软件支持各种各样的视频编辑方法,即使编辑后的内容与原始内容有很大的反差,视频内容也能被随意编辑。
  此外,随着深度学习技术的快速发展,已经出现了自动将一个人的脸部替换为另一个人脸部的视频编辑软件,如FakeApp、Faceswap等工具。这导致人们看到这些视频时不再信以为真。由于在法庭上,真实的视频比真实的图像更能提供强有力的证据,因此,对视频的真实性取证已经成为当今的迫切要求。
  近年来,随着视频编辑应用软件的稳步发展,视频中的3-D区域可以被复制,然后粘贴到其他位置进行编辑,包括亮度、几何特征等类似的东西都可以很容易地进行编辑。这些3-D区域可以是连续帧序列或整个连续帧序列内的小3-D区域。这些已经成为视频篡改中常用的篡改方法,并且很难检测到。
  因此,寻找检测此类伪造视频的技术算法是我们迫切需要研究的问题。在本研究的第一部分中,我们提出了一种利用帧残差的相位相关性来检测视频中3-D区域重复并确定篡改发生位置的方法。通过大量实验证明,该方法能够有效检测视频中的3-D区域的篡改。帧级的操作隐藏或模仿了视频中的内容,这些操作是编辑视频内容的简单技巧,但它们会产生肉眼很难检测到的伪造视频。另外,视频内容编辑应用程序强烈支持帧级别的篡改视频操作。任何人都可以通过视频编辑应用程序的一个或两个动作来高效地执行帧序列的删除、复制或插入。本文方法可以有效检测这类修改。
  最近,深度学习(Deep Learning)已经取得了突出的成果,特别是卷积神经网络(CNNs)在解决目标检测、自动驾驶汽车、视觉字幕等许多具有挑战性的视觉问题上取得了大量成果,特别是在大规模图像识别方面,这促使我们研究和应用最近有效的CNN模型来检测帧级(视频帧间伪造)的视频伪造。
  在本研究的第二部分中,提出了一种应用最新CNN模型的方法。这些CNN模型在ImageNet数据库上用100多万张图像进行训练,我们在目标数据集上进行了微调和重新训练,以检测某些类型的视频帧间伪造。我们还比较了这些模型的效率,以找出哪种CNN模型的体系结构更适合于检测视频帧间的伪造。
  值得一提的是,这些模型不是直接从视频帧重新训练的,而是根据连续帧之间的残差或光流特征进行重新训练的。我们已经进行了大量的实验,以找出该方法所获得的最佳特征。此外,还进行了一些测试,以检验在ImageNet数据库上训练的迁移学习模型在这种情况下的效率。在测试阶段,将分类打分细化为信度打分,以增强模型的有效性。
  除了人工操作的视频伪造之外,最近,数以百万计的视频被上传到网上,其中许多视频已经被全自动技术操作改变了视频内容。这种技术的发展给个人和社会带来了令人担忧的后果。尤其是在过去两年里,基于深度学习的人脸替换技术发展迅速,特别是Deepfake技术等,其中诸如FaceApp、Faceswap-gan、DeepFaceLab以及Dfaker等著名工具,它们被用来制作包含面部篡改的视频。而这些面部视频伪造很难用肉眼来识别,它们有可能出于恶意目的而制作出来的,如名人、政客的色请视频或假新闻、假监控视频,甚至造假政策紧张局势等。
  因此,人脸视频伪造检测已成为研究人员所关注的热门课题。目前,已有一些针对深伪/高仿(Deepfake)视频检测的方法,但大多仅基于隐写分析特征,或者分别基于时间和空间上的学习特征。视频中具有时间和空间关系的特征等尚未得到充分利用。因为视频是时间上的一组连续帧,最近的所有方法都没有带来很好的结果。因此,这仍然是一个巨大的挑战。而最新的机器学习方法表明,三维卷积核函数可以同时学习空间和时间特征,从而取得了突破性的效果。
  在本研究的最后部分中,我们应用并提出了一种利用三维卷积核构建深度三维卷积神经网络来学习短连续帧序列中的时空特征以检测深伪视频的方法。我们在FaceForensics++和VidTIMIT这两个规模最大且最流行的深伪视频数据集上进行了实验,并将所提方法的效率与最新的方法进行了比较。通过实验证明,我们提出的方法比现有的方法更高效、更准确。
其他文献
内容摘要:赞助人的作用是翻译文化学派研究的重要内容之一。本文借鉴福柯的权力观,梳理并重新思考勒菲弗尔对赞助人的理解和定位,将对翻译赞助人的理解从“操控”转向“权力”,并从这一视角考察赵元任在中国科学社时期(1915-1918)的翻译活动,重点分析译者与中国科学社及《科学》月刊之间的权力关系及其之间相互作用形成的赞助力量对翻译的影响,并进一步从引发阅读乐趣、普及科学知识和建构科学话语三个层面,思考赵
期刊
内容摘要:马洛版《浮士德博士的悲剧》沿袭了关于人吃禁果而堕落的主题。该剧未及描写弥尔顿式的英雄,也没有像斯宾塞那样刻写一部道德书,更未像莎士比亚那样写实地描写人世一切冷暖情仇,而是人在宇宙中能享有的一切可以享受的世俗内容。基督教传统道德认为人应尽善、尽美且无欲,但浮士德这个人物的重心却在于他对世俗物质的渴望,成为了马洛笔下的另一撒旦。浮士德对世俗欲望的追求体现了文艺复兴时期的人免除精神枷锁以后的现
期刊
内容摘要:美国女作家唐娜·塔特的成长小说《金翅雀》于2014年获得普利策小说奖,小说中以名画“金翅雀”与主人公的纠缠为主线,主人公通过对视觉艺术品的认知,在不同阶段用不同的眼光来观察、感知和言说再现,形成不同的统觉,并经由语象叙事呈现出主人公成长中内心的不同阶段,其中“解剖课”成为了主人公习得创伤和陷入困境的现实具象,静物画成为定格自己内心创伤的休憩之所,“金翅雀”完成了主人公对人生和存在的顿悟,
期刊
内容摘要:盖斯凯尔夫人的小说《南方与北方》,公认为维多利亚时期描绘工业绅士的代表著作。维多利亚时期作为工业革命的重要发展阶段,英国阶层相应更迭。其中中产阶级最为显著的变化,就是工业绅士的涌现。《南方与北方》以女性为观察者,以二元對立为视角,以误解原则为叙事手法,比较了工业绅士与维多利亚社会评论家的绅士观念,全面地展现出维多利亚时期工业绅士的内涵、践行和价值。  关键词:盖斯凯尔夫人;《南方与北方》
期刊
内容摘要:安妮塔·布鲁克纳小说《杜兰葛山庄》中女主人公埃迪斯·霍普的服饰选择与其身份建构紧密相连。服饰不仅是埃迪斯表达女性立场、反抗男权社会压迫的方式,也是让她陷入消费社会物质陷阱、丧失主体性的消费符码,服饰更是促进她在写作中自我反思和身份重建的动因。文章以服饰文化为切入点,并结合消费社会的时代背景,深入分析埃迪斯的成长历程,探究服饰与女性身份建构的内在耦合关系,进而揭示男权社会及消费市场对现代女
期刊
内容摘要:陕西当代长篇小说是陕西文学的重要组成部分,其英译活动是陕西文学走向世界的重要途径,亦承载着讲述中国故事的重要使命。本文考察陕西当代长篇小说英译与接受概况,缕析国内外译介研究现状,发现陕西当代长篇小说英译数量有限、接受效果不佳、研究热度不足,并从文本方面与非文本方面提出针对性建议,以期为中国文学外译提供启示借鉴。  关键词:陕西当代文学;译介与接受;中国文学外译  基金项目:本文是陕西省社
期刊
新能源的发展是世界持续关注的重要问题,可再生清洁能源中的太阳能以其突出的优点被世界各国所推崇。如今光伏发电效率低是限制太阳能发展的技术难题,如何有效提高光伏发电效率成为了重要的研究方向。目前对提高光伏发电系统发电效率的研究大致分为两个方向,分别是通过追踪全局最大功率点来提高发电效率和着重于如何在传统的DC-DCBoost升压电路中改进优化拓扑结构进而提升效率两个主要研究方向。
  大量搭建在户外的光伏发电设备因云层、建筑、树荫等物体的遮挡会影响光伏电池板的发电功率,在光伏阵列输出特性曲线上产生多峰值
内容摘要:自19世纪犹太启蒙运动以来,现代希伯来文学一直在启蒙犹太民族意识形态中扮演着先锋作用。希伯来小说在教育以色列人和现代犹太人方面扮演着重要角色。通过分析不同历史时期的三部希伯来小说,本文考察现代希伯来文学对民族性的教导与反思,及其随着复国主义思想的发展而发生的演化。在以色列建国前的伊休夫时期(1920-1950年代),“?????”(故土、祖国)是美育、文学、和地理教育的重要核心,小说家萨
期刊
基于多光谱遥感影像的分类是对地观测的重要手段,同时也是农作物精准预测的重要手段。在众多的多光谱图像农作物分类算法中,深度学习作为一种新颖的分类算法,能够自动从大量数据中获取到合适的映射关系,提取出分类特征,进而实现分类识别功能。然而深度学习神经网络同传统分类算法一样需要合理地选择特征还有模型结构,此外由于地区与时间的不同导致的多光谱图像的不同,分类算法极有可能在其它区域不适用或分类精度下滑严重。针对上述情况,本文做出了以下工作:
  1、对多光谱图像的时间,空间,光谱谱段建立神经网络模型,并分析模型
高光谱图像蕴含着丰富的空间特征和光谱特征,在环境保护、军事打击、农业生产等领域中发挥着重要作用。在图像重建领域上,使用少量的数据重建出质量较高的图像,将对信息的存储和传输带有极大的便利。稀疏表示在光谱分类和图像重建中有着重要的应用,并取得了良好的效果。但基于稀疏表示的光谱分类和图像重建需要采用传统优化算法进行迭代更新,而优化算法存在一些问题,使得其无法达到最好的分类结果和重建精度。一方面由于传统优化算法需要设置合适的参数,但参数的设置具有随机性,参数的选择困难。另一方面由于传统优化算法需要进行多次的迭代才