利用三维软生物特征和UV纹理图的深度伪造视频检测算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:LUOLIJIAN88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习技术、数字多媒体技术的快速发展为社会带来了许多便利,同时也给社会安全带来了挑战。近几年来,互联网上深度伪造视频的传播已成为一个热点问题。深度伪造技术通过交换人物身份达到欺骗目的,恶意使用者仅通过一部手机就可以在几分钟内得到效果逼真的深度伪造视频。深度伪造视频可用于操纵舆论,进行欺诈、抹黑、勒索他人等违法行为,因此迫切需要有效的鉴别算法来遏制错误信息的进一步传播。现有的深度伪造视频检测算法大多只利用二维人脸信息,很少利用三维人脸信息进行真假判别。此外大多数算法只关注与图像像素层面上的差异,很少从生物特征的角度出发揭示深度伪造视频生物信息上的缺陷。针对这些问题,本文基于三维人脸形变模型、软生物特征与UV纹理图进行研究,具体研究工作如下:1、介绍三维人脸形变模型建立过程,包括传统三维形变模型(3D Morphable Model,3DMM)方法、BFM模型和Face Warehouse模型三种模型,引出利用相机成像模型的外参数矩阵估计人物头部姿态信息,并利用3DMM模型提取人脸形状、纹理和表情参数;同时给出人脸UV纹理图的生成过程,引出利用UV纹理图表示三维空间中的人脸纹理信息。从上述三个方面的信息所提取的特征是本文鉴别真伪视频的基础。2、提出一种基于3DMM软生物特征的深度伪造视频检测算法。该算法利用软生物特征作为检测突破点,选取人脸图像帧并利用3DMM模型提取单帧面部属性,基于Res Net-34构建面部行为特征提取网络,通过度量学习损失函数发掘人物的特定面部行为特征。同时构建外貌特征提取模块,并基于闭集检索建立参考集,通过对比外貌特征与面部行为特征是否匹配来判断视频真假。实验结果表明算法具有较好的抗视频压缩鲁棒性和较高的检测准确度。3、提出一种基于UV纹理图的深度伪造视频双流检测算法。该算法充分利用三维人脸纹理信息进行伪造检测,通过3DMM模型,生成人脸UV纹理图,并以Efficient Net为基础网络设计一种双流模型框架,其中UV纹理图提取分支输入人脸UV纹理图进行三维纹理特征提取,RGB图提取分支输入RGB图像进行二维颜色信息特征提取。最后将不同支路提取到的特征进行融合后做真假分类。实验结果表明,该算法在多种数据库上具有较好的测试准确度。
其他文献
过去数年,建筑业作为高消耗,高排放产业,在建造和使用过程中消耗了大量的水泥、钢材和能源,对环境造成一定污染。传统建造工艺存在渗漏、空鼓、开裂、交楼慢、后期难维修等特点,因此,当前建筑行业急需进行产业转型,提高生产及建造效率。随着政府对装配式建筑的大力推广,市面上出现了多种装配式工艺。与传统混凝土建造住宅方式相比,装配式住宅的电气设计难度增大,设计方案关系到住宅中各个系统功能的实现,因此亟需一套契合
图像复原,包括图像降噪、复晰、科学成像等,是图像科学中的一个重要领域,其旨在从观测图像数据中重建出具有细节特征的真实图像,在许多领域中有着重要应用。近年来,深度学习成为了图像复原的主流方法之一,它使用卷积神经网络建模图像复原的过程,并在大规模训练数据上获得有效的网络参数。现有的卷积神经网络通常定义在实数域。受到复值表示和复变换的优点所启发,本文探索了定义在复数域的复变卷积网络及其在图像复原中的应用
WO3作为电致变色材料有资源丰富成本低、响应速度快和着色效率高等优点,同时也是优异的储锂材料,可以作为锂离子电池的负极材料。但是WO3的应用目前还存在一些问题,如循环稳定性差等。而作为电致变色材料应用到便携式器件中时,也有能量供应的问题。本论文针对磁控溅射WO3薄膜在电致变色和储锂充放电过程中循环稳定差的问题,引入了与WO3结构相近的MoO3制备了MoO3/WO3双层薄膜,有效增强了WO3基薄膜电
聚电解质水凝胶通过静电相互作用形成交联网络,具有力学性能可控、自修复、刺激响应等性能,在柔性驱动、药物释控等领域有应用前景。但目前具有pH响应的聚电解质水凝胶力学强度偏低,且在盐溶液中稳定性差,大大限制了其应用范围。我们从提高水凝胶力学强度和稳定性的角度出发,引入含有疏水基团的电解质单体,分别制备了聚两性电解质水凝胶(PA水凝胶)和聚离子复合物水凝胶(PIC水凝胶),在保持聚电解质水凝胶功能性的前
随着人们健康意识和环保意识的增强,植物基食品引起了广泛的关注。然而,植物蛋白配料分散性差、口感粗糙等特点使植物基食品的品质仍未达到消费者的期望。微粒化技术主要通过控制蛋白质的聚集行为使其结构化,是目前改善蛋白配料功能性质的有效方法。本研究以商用大豆分离蛋白(soy protein isolate,SPI)为原料,采用有望实现工业化的热剪切及喷雾干燥技术对大豆蛋白进行微粒化,通过调节p H值、添加氯
本文的研究缘起于对新技术介入后室内设计方法的反思。由于虚拟现实技术的广泛应用,借助其沉浸性、交互性和构想性三大特性,对室内设计的空间逻辑、形态构成、肌理组织、家具款式等都有直观的展现,有助于设计者形成良好的空间感知能力,解决了传统的设计辅助工具手绘图和模型表现力不足的问题。但是学生关注点更多在具体信息的感知上,如:材质的选择,家具的款式,灯光效果等。这样的室内设计往往是局部装饰效果好,但是整个室内
随着全面小康社会的建成,人民生活水平的提高,机动车保有量持续增加,城市道路建设速度已无法满足居民的交通需求。当前城市道路中交通事件频发,往往会使交通混乱,引起道路拥堵,如果不能及时处理,将导致区域路网的交通瘫痪,对社会经济和安全带来重大影响。因此,交通事件条件下的信号和诱导研究对减少交通拥堵、加快事件疏散、恢复城市交通正常运行具有十分重要的意义。主要内容如下:(1)交通事件下交通流特性分析,依据交
二十碳五烯酸(Eicosapentaenoic acid,EPA),是一种对人体极为重要的ω3-多不饱和脂肪酸(PUFAs),在心血管疾病的防治和抗炎抗癌等方面具有重要的生理功能。EPA主要来源于深海鱼油,但由于海洋资源枯竭和环境污染等因素的影响,鱼油产量大大降低,无法满足日益增长的EPA市场需求。目前EPA的主要微生物来源为光能自养型微藻,培养条件复杂,生物量和油脂产量均较低。裂殖壶菌(Sciz
随着特高压输电技术的发展,以输电容量大和环境友好为显著特点的GIL输电技术受到广泛关注和应用。而GIL在运行过程中面临着金属微粒污染问题,由此可能会引发绝缘闪络故障而带来不可估量的经济损失,因此有必要对自由金属微粒在GIL设备内部运动特性及其检测手段进行研究。本文建立GIL电-磁-热-流多物理耦合场数学模型以及多物理场中自由金属微粒运动数学模型,分别通过温升实验和微粒观察实验验证了GIL多物理场模
人机对话系统是人与机器交流的新型交互方式,也是人工智能领域的重要研究内容。其中,任务导向型对话系统通过自然语言的方式协助用户完成特定领域的任务,因其广泛的应用场景受到工业界和学术界的关注。传统的管道式任务型对话系统依赖于大量的人工标注,分成几大模块并单独训练,难以适应新的任务领域。随着深度学习的不断发展,端到端任务型对话系统在可扩展性和易部署性方面优于管道系统,是当前任务型对话领域的热门研究方向。