论文部分内容阅读
大家知道Photoshop是Adobe公司推出的一款功能强大的图片处理软件，几乎图片处理中所有难题都可以解决。近日在Adobe Max 2017，Adobe继PS之后推出可以针对视频进行PS的Project Cloak技术，该技术可以轻松地对视频画面中的任何元素进行抹除或者美化等操作。
照片容易 视频PS不简单
说到PS，可能很多朋友都轻车熟路，将照片导入PS后，利用PS提供的工具我们可以很轻松地去除照片中的路人甲，或者抹除MM脸上的雀斑。不过在视频中如果要执行类似的操作就难多了，因为照片PS只是对一张图片进行处理，而视频可以看作是N张照片组成的组合体。比如需要处理掉视频中多出的路人画面，我们就需要对所有帧里路人甲出现的画面都要消除，而且由于视频是动态画面，路人甲位置可能也是动态变化，显然如果对每一帧的画面都要进行处理，庞大的工作量是显而易见的。
因此如果我们需要对视频进行PS处理，最常见的方法是使用遮挡法。比如我们引用的电视台视频，为了屏蔽掉台标，常规的方法是选择一个颜色块，或找一个色块插入覆叠轨，放在有台标的视频段，调整大小和位置以遮住台标（图1）。
视频覆盖台标
但是这种处理只是对固定部位有效，如果需要消除的是视频中间画面的元素，处理起来就非常的麻烦了。Project Cloak的视频处理技术则可以像PS一样对画面进行处理，比如在演示视频中，通过简单的操作视频画面中碍眼的电杆树就可以凭空消失（图2）。
神奇的背后——解密视频PS技术
演示处理视频画面
从上面的示例可以看到，通过Project Cloak可以轻松地对视频进行PS处理。那么它是怎样实现的？
首先我们来了解一下图片PS原理，比如在风景照片中我们要将闯入照片中的路人甲消除。在PS中打开图片后选择仿制图章工具，接着使用鼠标点图片中的基准颜色，也就是使用仿制图章之后想要图片呈现出来的样子，一般选取人附近的颜色，这样路人甲剔除后跟周围颜色不会有太大冲突，整个画面就显得比较自然（图3）。
PS仿制图章工具
Project Cloak对于视频PS处理原理与之类似，不过如上所述，由于视频是多帧画面组成的，剔除的对象也是动态移动的，因此并不能像一张图片那样进行简单的处理。而Project Cloak对视频画面可以实现类似PS效果，幕后功臣则是Adobe公司开发的Adobe Sensei。
Adobe Sensei并非一款单独的软件产品，而是一个可以应用于Adobe旗下各款产品的底层人工智能工具。Sensei利用了Adobe长期积累下来的大量数据和内容，从图片到影像，能够帮助我们解决处理这些媒体时遇到的各种难题。在前面的示例中，Project Cloak可以轻松去除视频中的电杆树而不会留下丝毫处理痕迹，这就是Adobe Sensei在Project Cloak中的一个典型应用（图4）。
Project Cloak对人物T恤上的Logo前后处理对比
Sensei作为一款人工智能工具，它的原理和常见的人工智能工具一样。首先Adobe会让Sensei学习海量的视频处理素材，通过大量的学习后，同时借助深度学习技术就可以实现对各种视频的处理，最终Sensei会生成一套独特的算法来实现对视频画面的各种特效处理。
这样在Project Cl oak需要对视频进行处理的时候，只要圈定处理对象，Sensei在后台就会自动实现处理。以演示视频中对人物T恤上的Logo处理为例，在用户圈定这个处理区域后，Sensei根据算法主动分析周围图像，自动将T恤的Logo删除并填充合适背景，这样在移除Logo后画面没有任何的违和感，实现类似图片PS处理的效果（图5）。
Scene Stitch可以將小山丘变成公路
当然作为Adobe系列软件的底层人工智能处理工具，它的功能远不止这些。比如作用在Scene Stitch后，它可以随意改变画面上的场景。比如可以直接将画面中的小山丘变成公路，并且毫无违和感（图6）。
视频PS 让我们的视频变得更有趣
随着数码设备的普及，使用手机和手持DV拍摄视频已经成为很多朋友的爱好。不过由于拍摄环境、拍摄技术等的限制，在拍摄完这些视频后观看时总发现各种各样的不足。比如拍摄画面出现路人甲，摄制的画面景色不够美。如果需要对视频进行后期处理，对于普通人来说一些专业的视频处理软件上手很难。
Adobe公司在Adobe Max 2017展示Adobe Sensei
Project Cloak这类软件的出现则让普通人也可以轻松处理视频，而且操作非常的简单，只要圈定对象，选择处理工具，其他都是由软件在后台完成。这样处理拍摄的视频是不是可以让我们的生活更加有趣？随着人工智能和深度学习技术的不断发展，现在各类软件的功能原来越强大、智能，但是面向用户的操作却越来越简单。我们期待有更多类似人工智能工具出现，为大家的生活带来更多的便利。
照片容易 视频PS不简单
说到PS，可能很多朋友都轻车熟路，将照片导入PS后，利用PS提供的工具我们可以很轻松地去除照片中的路人甲，或者抹除MM脸上的雀斑。不过在视频中如果要执行类似的操作就难多了，因为照片PS只是对一张图片进行处理，而视频可以看作是N张照片组成的组合体。比如需要处理掉视频中多出的路人画面，我们就需要对所有帧里路人甲出现的画面都要消除，而且由于视频是动态画面，路人甲位置可能也是动态变化，显然如果对每一帧的画面都要进行处理，庞大的工作量是显而易见的。
因此如果我们需要对视频进行PS处理，最常见的方法是使用遮挡法。比如我们引用的电视台视频，为了屏蔽掉台标，常规的方法是选择一个颜色块，或找一个色块插入覆叠轨，放在有台标的视频段，调整大小和位置以遮住台标（图1）。
但是这种处理只是对固定部位有效，如果需要消除的是视频中间画面的元素，处理起来就非常的麻烦了。Project Cloak的视频处理技术则可以像PS一样对画面进行处理，比如在演示视频中，通过简单的操作视频画面中碍眼的电杆树就可以凭空消失（图2）。
神奇的背后——解密视频PS技术
从上面的示例可以看到，通过Project Cloak可以轻松地对视频进行PS处理。那么它是怎样实现的？
首先我们来了解一下图片PS原理，比如在风景照片中我们要将闯入照片中的路人甲消除。在PS中打开图片后选择仿制图章工具，接着使用鼠标点图片中的基准颜色，也就是使用仿制图章之后想要图片呈现出来的样子，一般选取人附近的颜色，这样路人甲剔除后跟周围颜色不会有太大冲突，整个画面就显得比较自然（图3）。
Project Cloak对于视频PS处理原理与之类似，不过如上所述，由于视频是多帧画面组成的，剔除的对象也是动态移动的，因此并不能像一张图片那样进行简单的处理。而Project Cloak对视频画面可以实现类似PS效果，幕后功臣则是Adobe公司开发的Adobe Sensei。
Adobe Sensei并非一款单独的软件产品，而是一个可以应用于Adobe旗下各款产品的底层人工智能工具。Sensei利用了Adobe长期积累下来的大量数据和内容，从图片到影像，能够帮助我们解决处理这些媒体时遇到的各种难题。在前面的示例中，Project Cloak可以轻松去除视频中的电杆树而不会留下丝毫处理痕迹，这就是Adobe Sensei在Project Cloak中的一个典型应用（图4）。
Sensei作为一款人工智能工具，它的原理和常见的人工智能工具一样。首先Adobe会让Sensei学习海量的视频处理素材，通过大量的学习后，同时借助深度学习技术就可以实现对各种视频的处理，最终Sensei会生成一套独特的算法来实现对视频画面的各种特效处理。
这样在Project Cl oak需要对视频进行处理的时候，只要圈定处理对象，Sensei在后台就会自动实现处理。以演示视频中对人物T恤上的Logo处理为例，在用户圈定这个处理区域后，Sensei根据算法主动分析周围图像，自动将T恤的Logo删除并填充合适背景，这样在移除Logo后画面没有任何的违和感，实现类似图片PS处理的效果（图5）。
当然作为Adobe系列软件的底层人工智能处理工具，它的功能远不止这些。比如作用在Scene Stitch后，它可以随意改变画面上的场景。比如可以直接将画面中的小山丘变成公路，并且毫无违和感（图6）。
视频PS 让我们的视频变得更有趣
随着数码设备的普及，使用手机和手持DV拍摄视频已经成为很多朋友的爱好。不过由于拍摄环境、拍摄技术等的限制，在拍摄完这些视频后观看时总发现各种各样的不足。比如拍摄画面出现路人甲，摄制的画面景色不够美。如果需要对视频进行后期处理，对于普通人来说一些专业的视频处理软件上手很难。
Project Cloak这类软件的出现则让普通人也可以轻松处理视频，而且操作非常的简单，只要圈定对象，选择处理工具，其他都是由软件在后台完成。这样处理拍摄的视频是不是可以让我们的生活更加有趣？随着人工智能和深度学习技术的不断发展，现在各类软件的功能原来越强大、智能，但是面向用户的操作却越来越简单。我们期待有更多类似人工智能工具出现，为大家的生活带来更多的便利。