论文部分内容阅读
去年12月,一名叫做“Deepfakes”的用户在Reddit上发布了一段由人工智能技术制作的假视频。之后,AI换脸术就被玩坏了。
实际上,这名用户是使用静态图片和视频对机器学习算法进行了训练,从而达到了以假乱真的效果。很快,有人将“Deepfakes”的算法进行了改进,推出了“Deepfake”这款APP。这款软件可以让完全不懂AI技术的人,也能轻易玩转AI换脸术。
这项技术被运用的大多数案例都是娱乐性甚至非法性的,不过它并不仅仅有这样的功能,我们来看看它的正确打开方式是怎样的。
AI换脸术的演变过程
很多人知道“Deepfakes”,也知道他制作出来的AI变脸视频。但是却不知道他使用的是Google開发AI算法的内部工具TensorFlow,这个AI工具改变了全球的AI研究与发展方向,不少人使用TensorFlow做出了不错的成绩。
即便是后来出现的Deepfake软件,也是基于TensorFlow进行改造的。作为社区开发型的桌面应用程序,Deepfake无需安装编程语言和开源软件库就能运行,不过需要CUDA支持的高性能的GPU才能顺利运行。
即便是没有合适的GPU也没关系,通过 Google云服务租用这种GPU即可。Deepfake只需要一两个目标人物的高清视频,8到12小时可以制作一条自动换脸的娱乐影片。由于操作简单,订阅该讨论区的人数达到了9.1万,但他们的目的似乎都是为了制作娱乐影像。
事实上,人脸交换技术并不新鲜,将图像或视频中的人脸进行置换在电影领域常常出现。不过在AI技术的加持下,只需要GPU和一些训练数据就可以将这项工作简化,得到以假乱真的视频。
而它的核心其实是一个“自动编码器”。它相当于一个深度神经网格,能够接收数据输入,并将其压缩成一个小编码,随后再将这个小编码重新生成原始的输入数据。只要能够有足够多的图像数据,网络就会尝试学习创建一个编码,一张人脸会被压缩成一个代码和两个解码器。
Deepfake 的整个流程包括三步,一是提取数据,二是训练,三是转换。其中第一和第三步都需要用到数据预处理,另外第三步还用到了图片融合技术。所以我在技术上主要分三个方面来剖析:图像预处理、网络模型、图像融合。
尽管现在我们感叹于Deepfake的神奇之处,但实际上清晰度、人脸识别与转换效果、图片融合、视频抖动等问题依旧存在,还需要技术的持续发展来解决。
Deepfake
带来了乐趣与恐慌
Deepfake的出现,让盖尔·加朵、艾玛·沃森、娜塔莉·波特曼等女明星纷纷遭殃。她们的脸频繁地被网友用来制作娱乐影片,并广泛传播。记者甚至在百度贴吧中看到有人发帖称“韩国女团Deepfake,要的私聊”,似乎这已经促成了一种新的交易。
而除了明星们的形象受损,更恐怖的是政治人物也被卷入其中。例如有网友将奥巴马、特朗普与希拉里的脸进行互换,并且制作出他们根本没有说过的话。这样的视频经过流传,很有可能造成极其恶劣的影响,并且难以逆转。
正是由于Deepfake视频传播范围之广、速度之快,所以引发了许多人的不安。随后在一大片的质疑声中,Twitter和Reddit都对网站上的相关条款进行了调整,禁止青少年非自愿性色情、有性暗示的内容出现。同时一并封禁Deepfakes讨论区,下架相关标签的内容。
芝加哥大学法学院专利与技术法教授乔纳森·马苏公开表示,那些深受这种新技术之害的人没有强有力的法律手段给予支撑,即使对于私人公民也是如此。因为大部分的此类视频中都承认是伪造的,所以诽谤罪名不成立。
Deepfake的另一面
尽管Deepfake如今被当作AI工具中的一颗毒瘤,但它也并不是完全没有合理的用武之地。对于其产生的负面效应,我们可以采用以AI抗衡AI的方式,而对于其能够产生的正面价值,也值得人们去挖掘。
大型数字特效公司工业光魔就对这项技术颇感兴趣。在电影特效的制作过程中,使用现有技术将演员的脸和其他身体进行拼接耗时很长,同时成本也较高。因此工业光魔COO约翰·诺尔表示,“如果通过AI技术能够取得满意效果并有效减少工作时间,工业光魔很乐意尝试。”
另一家从成立开始就被认为是业内最好的特效制作公司之一的数字王国则已经有了动作。他们正在利用AI和机器学习技术研发类似于Deepfake的人脸替换技术,他们认为这将是影视工业未来技术发展的重要方向之一。
目前许多视效公司都不同程度地在制作过程中采用了AI技术,将其用于3D内容降噪、拍摄器材擦除和填充等工作。未来基于AI的制作技术将逐步成为主流,帮助人们创造出更真实的数字人物,且其应用将不仅限于大成本的电影制作,还将延伸至更多更广的领域。
除此之外,也有专家认为Deepfake这类技术可以被用来帮助受创伤后出现精神紧张障碍的士兵。通过换脸后使士兵更自在地表达自己的情绪,也能够让医生获取到更多的治疗信息。
总的来说,目前Deepfake的确没有发挥出AI工具能够给人们带来的便捷性,造成的负面影响甚至会对未来的发展造成阻碍。技术虽然无罪,但开发者和使用者应该更负责地使用技术,并充分发挥出这些AI技术的正面价值。
实际上,这名用户是使用静态图片和视频对机器学习算法进行了训练,从而达到了以假乱真的效果。很快,有人将“Deepfakes”的算法进行了改进,推出了“Deepfake”这款APP。这款软件可以让完全不懂AI技术的人,也能轻易玩转AI换脸术。
这项技术被运用的大多数案例都是娱乐性甚至非法性的,不过它并不仅仅有这样的功能,我们来看看它的正确打开方式是怎样的。
AI换脸术的演变过程
很多人知道“Deepfakes”,也知道他制作出来的AI变脸视频。但是却不知道他使用的是Google開发AI算法的内部工具TensorFlow,这个AI工具改变了全球的AI研究与发展方向,不少人使用TensorFlow做出了不错的成绩。
即便是后来出现的Deepfake软件,也是基于TensorFlow进行改造的。作为社区开发型的桌面应用程序,Deepfake无需安装编程语言和开源软件库就能运行,不过需要CUDA支持的高性能的GPU才能顺利运行。
即便是没有合适的GPU也没关系,通过 Google云服务租用这种GPU即可。Deepfake只需要一两个目标人物的高清视频,8到12小时可以制作一条自动换脸的娱乐影片。由于操作简单,订阅该讨论区的人数达到了9.1万,但他们的目的似乎都是为了制作娱乐影像。
事实上,人脸交换技术并不新鲜,将图像或视频中的人脸进行置换在电影领域常常出现。不过在AI技术的加持下,只需要GPU和一些训练数据就可以将这项工作简化,得到以假乱真的视频。
而它的核心其实是一个“自动编码器”。它相当于一个深度神经网格,能够接收数据输入,并将其压缩成一个小编码,随后再将这个小编码重新生成原始的输入数据。只要能够有足够多的图像数据,网络就会尝试学习创建一个编码,一张人脸会被压缩成一个代码和两个解码器。
Deepfake 的整个流程包括三步,一是提取数据,二是训练,三是转换。其中第一和第三步都需要用到数据预处理,另外第三步还用到了图片融合技术。所以我在技术上主要分三个方面来剖析:图像预处理、网络模型、图像融合。
尽管现在我们感叹于Deepfake的神奇之处,但实际上清晰度、人脸识别与转换效果、图片融合、视频抖动等问题依旧存在,还需要技术的持续发展来解决。
Deepfake
带来了乐趣与恐慌
Deepfake的出现,让盖尔·加朵、艾玛·沃森、娜塔莉·波特曼等女明星纷纷遭殃。她们的脸频繁地被网友用来制作娱乐影片,并广泛传播。记者甚至在百度贴吧中看到有人发帖称“韩国女团Deepfake,要的私聊”,似乎这已经促成了一种新的交易。
而除了明星们的形象受损,更恐怖的是政治人物也被卷入其中。例如有网友将奥巴马、特朗普与希拉里的脸进行互换,并且制作出他们根本没有说过的话。这样的视频经过流传,很有可能造成极其恶劣的影响,并且难以逆转。
正是由于Deepfake视频传播范围之广、速度之快,所以引发了许多人的不安。随后在一大片的质疑声中,Twitter和Reddit都对网站上的相关条款进行了调整,禁止青少年非自愿性色情、有性暗示的内容出现。同时一并封禁Deepfakes讨论区,下架相关标签的内容。
芝加哥大学法学院专利与技术法教授乔纳森·马苏公开表示,那些深受这种新技术之害的人没有强有力的法律手段给予支撑,即使对于私人公民也是如此。因为大部分的此类视频中都承认是伪造的,所以诽谤罪名不成立。
Deepfake的另一面
尽管Deepfake如今被当作AI工具中的一颗毒瘤,但它也并不是完全没有合理的用武之地。对于其产生的负面效应,我们可以采用以AI抗衡AI的方式,而对于其能够产生的正面价值,也值得人们去挖掘。
大型数字特效公司工业光魔就对这项技术颇感兴趣。在电影特效的制作过程中,使用现有技术将演员的脸和其他身体进行拼接耗时很长,同时成本也较高。因此工业光魔COO约翰·诺尔表示,“如果通过AI技术能够取得满意效果并有效减少工作时间,工业光魔很乐意尝试。”
另一家从成立开始就被认为是业内最好的特效制作公司之一的数字王国则已经有了动作。他们正在利用AI和机器学习技术研发类似于Deepfake的人脸替换技术,他们认为这将是影视工业未来技术发展的重要方向之一。
目前许多视效公司都不同程度地在制作过程中采用了AI技术,将其用于3D内容降噪、拍摄器材擦除和填充等工作。未来基于AI的制作技术将逐步成为主流,帮助人们创造出更真实的数字人物,且其应用将不仅限于大成本的电影制作,还将延伸至更多更广的领域。
除此之外,也有专家认为Deepfake这类技术可以被用来帮助受创伤后出现精神紧张障碍的士兵。通过换脸后使士兵更自在地表达自己的情绪,也能够让医生获取到更多的治疗信息。
总的来说,目前Deepfake的确没有发挥出AI工具能够给人们带来的便捷性,造成的负面影响甚至会对未来的发展造成阻碍。技术虽然无罪,但开发者和使用者应该更负责地使用技术,并充分发挥出这些AI技术的正面价值。