论文部分内容阅读
回想大约十年前,当人们谈论相机和照片时,通常只会提到降噪处理和色彩倾向,而没有其他。而在2019年,当我们手握一台相机或手机时,无论你是否感觉得到,算法和人工智能技术都已经在自动对焦、取景画面、场景优化、画质优化等方面发挥着重要作用。比如,有些算法能让相机识别出动物的眼睛,有些算法能让手机拍出纯净的夜景,还有些算法能模拟大光圈镜头的虚化效果。
现在,我们不妨回顾过去10年,看看计算摄影和人工智能技术是如何一步步融入我们的拍照设备,改变消费者觉得已经完善的摄影体验。再展望未来,看看决定未来拍照设备优劣的,是哪些核心要素。
序幕 数码照片是什么?
你以为的算法,和我们说的算法。
胶片照片的本质是化学反应,而数码照片的本质是计算。
当你拿起一台相机或手机,拍下一张照片。通常情况下,你的相机并没有完全看清楚你要拍的画面,因为绝大多数传感器都是由红、绿、蓝三种马赛克传感器组成的——这就是像素。每个像素只“看”到一种颜色,而隔壁像素是什么样子,就只能依赖算法来“猜”出来。即使如适马X3这样模拟胶片的特殊结构传感器,在生成图像时为了均衡每一层获得的信息,也需要相机的影像处理器进行大量运算。
当然,如今数码相机的进步,这种“猜”已经变得近乎i00%准确了。所以本文中所提及的算法,并不是指这种简单的为了解决还原成像的基础运算,而是指让一张数码照片变得更好的那些算法。这也是如今计算摄影的方向——通过各种算法,让人们摆脱硬件的限制,得到更好的、更富创意和美感的画面。
起点 一次快门=一张照片?
当一张照片解决不了问题的时候,那就多拍几张。
很多人覺得是手机催生了计算摄影,因为相比拥有大尺寸传感器的相机,手机先天的成像质量和玩法都比较可怜。但实际上第一个计算摄影平台是一部相机。在2010年,斯坦福大学的科研人员苦于没有用于研究计算摄影的工具,于是就自己造了一台“相机”——FrankenCamera(名字取自科学怪人弗兰肯斯坦)。它是一个能安装佳能镜头,侧面还有手柄和快门的相机。但这几个部件也是该相机上仅有的看上去像相机的部分,它其余的部分就像一个黑盒子,充斥电路板和各种接口,方便进行调试——这台相机使用Lin ux系统,可以进行编程操控。
随后,科研人员将基于FrankenCamera的系统移植到了一台诺基亚N900手机上,并让这台功能并不出色的手机实现了HDR取景与拍摄、增强动态范围的全景摄影、更纯净的弱光拍摄和多重曝光创意拍摄等功能。
这些功能之所以能实现,普遍是由于使用了多张拍摄照片,然后将各自最优部分计算合成的原理。简单说,这意味着获得一张高画质照片的方式,不再只有使用更大、更先进传感器这一条路,而是可以通过一次拍摄多张照片来获得。
初露 两个镜头,一张照片
让手机达到相机的虚化效果
斯坦福的科研团队后来被谷歌收编,奠定了谷歌在算法领域的领先地位。但正因为安卓阵营的开放性,导致最开始被人们熟知的算法手机并非来自谷歌。2014年,HTC发布了M8系列手机,首次搭载了双摄像头——其中主摄像头负责拍摄照片的亮度和色彩信息,另一颗摄像头负责采集深度信息并用于背景虚化模拟。只不过受限于当时的算法和体验都不够完善,HTC M8系列手机并没有引起很大波澜。 两年后,即2016年,双摄手机迎来了全面爆发。这一年华为推出了与徕卡联合打造的P9,凭借“彩色 黑白”的双摄组合大获成功。同年苹果公司也发布了首款变焦双摄手机iPhone了Plus。由止E两家公司开启了双摄的两个不同方向,前者侧重夜景成像,而后者更侧重于人像虚化的模拟效果。自2016年开始,几乎所有旗舰级手机都搭载了两个或两个以上的摄像头,至2019年,三摄、四摄手机都已不鲜见。
谷歌公司也开始发力,在2016年推出了Pixel手机,虽然它只有一个摄像头,但却能凭借人工智能技术的加持,实现只有双摄手机才能获得的背景虚化模拟效果。
初露 找到眼睛
相机厂商的算法优化
在手机厂商拼命想摆脱“底大一级压死”的宿命时,相机厂商们的节奏要慢了许多,但也并非停滞不前。
2012年,Lytro光场相机诞生了,凭借独特的硬件设计与算法,光场相机实现了先拍照后对焦等独特功能。只可惜由于产品不够接地气,销量惨淡,最终在2018年公司关闭后部分员工被谷歌接收。
相比实验性质更强的光场相机,奥林巴斯于2011年推出的E-PL2上实现的眼部检测对焦更具实际意义。这一技术在2013年被索尼用于全画幅微单,并随着微单相机的崛起渐渐成为标配。
特别是在2018年到2019年,索尼通过固件升级的方式让所有α7三代机身和α9都实现了实时追踪和实时眼部追踪功能。在这一升级中,相机可以认出被摄主体的图案、色彩和距离,再结合人工智能识别出被摄人物或动物的双眼,再调用相应的对焦点进行对焦,而不是以往的只依赖距离和色彩信息那样简单。
佳境 一次快门,n张照片
计算摄影的无限可能
有趣的是,无论是手机还是相机,要获得超越以往的画面效果,都依赖于两大核心要素——传感器的高速读取和处理器的高速处理。比如索尼α9的传感器数据读取能力就是前代机型的20倍,而手机的处理器几乎每年都会有大幅提升。
在有了这两高保障之后,相机才能随时捕捉运动中的物体,手机也才可以在按下快门的同时拍摄多张照片,然后依据不同的计算原则进行对齐、合成和优化运算。
我们可以通过手机上的夜景模式来一窥计算摄影的魅力。
通过对比照片,你会发现这其中的差异非常明显,不仅画面更加纯净,噪点减少了许多,细节和色彩也得到了增强。更重要的是,由于并非机械的进行多张叠加,而是在确立基准帧之后再进行叠加,所以即使没有三脚架辅助,也能获得没有重影的高品质夜景照片。
将手机上的夜景模式与相机照片相比,在画面直观感受上也毫不逊色,甚至由于多张合成了不同曝光的照片,在宽容度方面还比相机表现得更好。
验证计算摄影对夜景照片的巨大提升
下面的九宫格照片分别是手机直接拍摄、使用夜景模式拍摄和相机拍摄的弱光画面。从左侧照片你能看出,手机本身的弱光成像并不如最右侧的相机。但凭借出色的夜景算法,能极大提升画面细节,降低噪点(中间图片)。值得注意的是,所有图片均为手持拍摄,没有使用三脚架。
展望 如何算出好结果?
算法,可以让夜景拍摄不再需要三脚架、让慢速快门不再需要ND滤镜、让人像虚化不必依赖大光圈镜头、让画面不再曝光过度、让人像跑焦不再困扰摄影爱好者…… 似乎计算摄影、人工智能可以帮我们解决很多问题。但不可否认的是,也会让我们犯一些以前不会犯的错误。
比如,某些安卓手机尽管具备出色的人工智能影像算法,但是拍出的照片色彩始终过于艳俗而不令人满意,色彩的准确性也偶有问题。这就不再是算法是否准确的问题,而是算法背后,编写算法的人与审核算法的人的美学修养问题。
人工智能也好,算法也好,它们就像是一个孩子,如何训练它们,如何教会它们正确的看待事物,是厂商的职能与责任。
计算摄影大事件
◎2010年一斯坦福大学团队开发出用于计算摄影研究和实验的Franken Camera,并将其算法导入到了一台诺基亚N900手机当中。
◎2011年-奥林巴斯发布M4/3规格的E-PL2微型单电相机,首次在相机上实现了眼部检测功能,也就是相机可以自动对焦到人物的眼睛上。
◎2012年-Lytro光场相机上市销售,通过捕捉光线和景深信息,以及复杂的图像运算,可以获得先拍照后对焦、3D照片拍摄等功能。
◎2013年-索尼发布全画幅微单相机α7,这是首款支持眼部识别对焦功能的全画幅微单相机。
◎2014年-HTC M8手机问世,首次使用了双摄像头来采集深度信息,模拟背景虚化效果。
◎2016年-华为发布P9手机,首次使用了“彩色 黑白”的双摄组合,除了可以模拟背景虚化,黑白摄像头也可单独成像和辅助提升彩色照片画质。
◎2016年-苹果发布首款搭载变焦双摄的手机iPhone 7 Plus,主打人像虚化模拟,并内置了多种模拟光效。
◎2016年-谷歌发布Pixel手机,首次利用人工智能技术在单摄手机上实现了人像背景虚化效果。
◎2017年-苹果发布iOS 11操作系统,首次在移动设备上使用了HEIF(高效率图像格式),取代了JPG格式。HEIF格式的照片所占存储空间只有JPG格式的一半,支持16位色彩和更好的宽容度表现,还能在编辑图像时保留原图,实现无损编辑。
◎2018年-vivo在展出APEX概念机时发布了超级HDR功能、可以实现约14ev动态范围的拍摄效果。
◎2018年-华为发布P20系列相机,首次搭载了基于人工智能技术的夜景模式,通过算法极大的提升了手机的夜景细腻程度和宽容度。这一技术在一年后的P30系列上更加成熟。
◎2018-2019年-索尼为旗下α9、α7 Ⅲ、α7R Ⅲ等多款机型推送了新固件。新固件基于人工智能技术,让相机可以识别并追踪被摄主体。还可以进行更高效精准的实时眼部对焦。并且不仅能识别人眼.还可以识别一些动物的眼睛。
◎2019年-苹果在iPhone 11系列手机上,使用了全新的夜景算法和深度融合(Deep Fusion)技术,并将手机的智能HDR效果推上了一个新的高度。
◎2020年-佳能将会在旗舰单反EOS-1D X Mark Ⅲ中使用深度学习技术,提升自动对焦稳定性和追焦性能,并将支持HEIF格式照片的拍摄。