算法X时代 2010-2020摄影算法十年记

来源 :大众摄影 | 被引量 : 0次 | 上传用户:tang790330
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
The Past 10 Years Of Computational Photography

  回想大约十年前,当人们谈论相机和照片时,通常只会提到降噪处理和色彩倾向,而没有其他。而在2019年,当我们手握一台相机或手机时,无论你是否感觉得到,算法和人工智能技术都已经在自动对焦、取景画面、场景优化、画质优化等方面发挥着重要作用。比如,有些算法能让相机识别出动物的眼睛,有些算法能让手机拍出纯净的夜景,还有些算法能模拟大光圈镜头的虚化效果。
  现在,我们不妨回顾过去10年,看看计算摄影和人工智能技术是如何一步步融入我们的拍照设备,改变消费者觉得已经完善的摄影体验。再展望未来,看看决定未来拍照设备优劣的,是哪些核心要素。

序幕 数码照片是什么?


  你以为的算法,和我们说的算法。
  胶片照片的本质是化学反应,而数码照片的本质是计算。
  当你拿起一台相机或手机,拍下一张照片。通常情况下,你的相机并没有完全看清楚你要拍的画面,因为绝大多数传感器都是由红、绿、蓝三种马赛克传感器组成的——这就是像素。每个像素只“看”到一种颜色,而隔壁像素是什么样子,就只能依赖算法来“猜”出来。即使如适马X3这样模拟胶片的特殊结构传感器,在生成图像时为了均衡每一层获得的信息,也需要相机的影像处理器进行大量运算。
  当然,如今数码相机的进步,这种“猜”已经变得近乎i00%准确了。所以本文中所提及的算法,并不是指这种简单的为了解决还原成像的基础运算,而是指让一张数码照片变得更好的那些算法。这也是如今计算摄影的方向——通过各种算法,让人们摆脱硬件的限制,得到更好的、更富创意和美感的画面。
感光元件看起来似乎是“铁板一块”,其实是有很多个小格子组成,每一个格子上都有红、绿、蓝三种颜色中的一种,这就是“像素”。

起点 一次快门=一张照片?


  当一张照片解决不了问题的时候,那就多拍几张。
斯坦福大学团队开发的计算摄影实验平台,使用佳能镜头,运行Linux操作系统。后来这套系统被移植到一台诺基亚N900手机中,并实现了当时手机不能完成的拍摄功能。

  很多人覺得是手机催生了计算摄影,因为相比拥有大尺寸传感器的相机,手机先天的成像质量和玩法都比较可怜。但实际上第一个计算摄影平台是一部相机。在2010年,斯坦福大学的科研人员苦于没有用于研究计算摄影的工具,于是就自己造了一台“相机”——FrankenCamera(名字取自科学怪人弗兰肯斯坦)。它是一个能安装佳能镜头,侧面还有手柄和快门的相机。但这几个部件也是该相机上仅有的看上去像相机的部分,它其余的部分就像一个黑盒子,充斥电路板和各种接口,方便进行调试——这台相机使用Lin ux系统,可以进行编程操控。
  随后,科研人员将基于FrankenCamera的系统移植到了一台诺基亚N900手机上,并让这台功能并不出色的手机实现了HDR取景与拍摄、增强动态范围的全景摄影、更纯净的弱光拍摄和多重曝光创意拍摄等功能。
计算摄影的初步功能:将短曝光多噪点照片的清晰轮廓和长曝光低噪点照片的纯净画面融合之后得到的优化夜景画面。
计算摄影的初步功能:基于自动HDR拍摄的全景照片

  这些功能之所以能实现,普遍是由于使用了多张拍摄照片,然后将各自最优部分计算合成的原理。简单说,这意味着获得一张高画质照片的方式,不再只有使用更大、更先进传感器这一条路,而是可以通过一次拍摄多张照片来获得。

初露 两个镜头,一张照片


  让手机达到相机的虚化效果
  斯坦福的科研团队后来被谷歌收编,奠定了谷歌在算法领域的领先地位。但正因为安卓阵营的开放性,导致最开始被人们熟知的算法手机并非来自谷歌。2014年,HTC发布了M8系列手机,首次搭载了双摄像头——其中主摄像头负责拍摄照片的亮度和色彩信息,另一颗摄像头负责采集深度信息并用于背景虚化模拟。只不过受限于当时的算法和体验都不够完善,HTC M8系列手机并没有引起很大波澜。   两年后,即2016年,双摄手机迎来了全面爆发。这一年华为推出了与徕卡联合打造的P9,凭借“彩色 黑白”的双摄组合大获成功。同年苹果公司也发布了首款变焦双摄手机iPhone了Plus。由止E两家公司开启了双摄的两个不同方向,前者侧重夜景成像,而后者更侧重于人像虚化的模拟效果。自2016年开始,几乎所有旗舰级手机都搭载了两个或两个以上的摄像头,至2019年,三摄、四摄手机都已不鲜见。
  谷歌公司也开始发力,在2016年推出了Pixel手机,虽然它只有一个摄像头,但却能凭借人工智能技术的加持,实现只有双摄手机才能获得的背景虚化模拟效果。
手机直接拍摄的照片,受限于传感器面积较小,几乎没有虚化效果。此外人物面部由于在阴影中,光线质感也显得不够美观。
使用人像模式拍摄的照片,不仅模拟相机上大光圈镜头的虚化效果,还通过人像光效算法模拟了更具质感的光线效果。

初露 找到眼睛


  相机厂商的算法优化
  在手机厂商拼命想摆脱“底大一级压死”的宿命时,相机厂商们的节奏要慢了许多,但也并非停滞不前。
  2012年,Lytro光场相机诞生了,凭借独特的硬件设计与算法,光场相机实现了先拍照后对焦等独特功能。只可惜由于产品不够接地气,销量惨淡,最终在2018年公司关闭后部分员工被谷歌接收。
  相比实验性质更强的光场相机,奥林巴斯于2011年推出的E-PL2上实现的眼部检测对焦更具实际意义。这一技术在2013年被索尼用于全画幅微单,并随着微单相机的崛起渐渐成为标配。
  特别是在2018年到2019年,索尼通过固件升级的方式让所有α7三代机身和α9都实现了实时追踪和实时眼部追踪功能。在这一升级中,相机可以认出被摄主体的图案、色彩和距离,再结合人工智能识别出被摄人物或动物的双眼,再调用相应的对焦点进行对焦,而不是以往的只依赖距离和色彩信息那样简单。
新一代索尼微单相机具备的基于人工智能技术的对焦原理示意图:相机实时采集处理色彩、图案、距离和面容信息,并依靠AI从数据库的深度学习,找到并追蹤当前画面中人物的眼睛。

佳境 一次快门,n张照片


  计算摄影的无限可能
  有趣的是,无论是手机还是相机,要获得超越以往的画面效果,都依赖于两大核心要素——传感器的高速读取和处理器的高速处理。比如索尼α9的传感器数据读取能力就是前代机型的20倍,而手机的处理器几乎每年都会有大幅提升。
  在有了这两高保障之后,相机才能随时捕捉运动中的物体,手机也才可以在按下快门的同时拍摄多张照片,然后依据不同的计算原则进行对齐、合成和优化运算。
  我们可以通过手机上的夜景模式来一窥计算摄影的魅力。

  通过对比照片,你会发现这其中的差异非常明显,不仅画面更加纯净,噪点减少了许多,细节和色彩也得到了增强。更重要的是,由于并非机械的进行多张叠加,而是在确立基准帧之后再进行叠加,所以即使没有三脚架辅助,也能获得没有重影的高品质夜景照片。
  将手机上的夜景模式与相机照片相比,在画面直观感受上也毫不逊色,甚至由于多张合成了不同曝光的照片,在宽容度方面还比相机表现得更好。
  验证计算摄影对夜景照片的巨大提升
  下面的九宫格照片分别是手机直接拍摄、使用夜景模式拍摄和相机拍摄的弱光画面。从左侧照片你能看出,手机本身的弱光成像并不如最右侧的相机。但凭借出色的夜景算法,能极大提升画面细节,降低噪点(中间图片)。值得注意的是,所有图片均为手持拍摄,没有使用三脚架。

展望 如何算出好结果?


  算法,可以让夜景拍摄不再需要三脚架、让慢速快门不再需要ND滤镜、让人像虚化不必依赖大光圈镜头、让画面不再曝光过度、让人像跑焦不再困扰摄影爱好者……   似乎计算摄影、人工智能可以帮我们解决很多问题。但不可否认的是,也会让我们犯一些以前不会犯的错误。
目前几乎所有手机都可以拍摄星空、星轨照片,打破了以往被相机垄断的星野题材。当然,星野摄影的画质方面还是相机更勝一筹,但易用性方面无疑手机更佳。

  比如,某些安卓手机尽管具备出色的人工智能影像算法,但是拍出的照片色彩始终过于艳俗而不令人满意,色彩的准确性也偶有问题。这就不再是算法是否准确的问题,而是算法背后,编写算法的人与审核算法的人的美学修养问题。
  人工智能也好,算法也好,它们就像是一个孩子,如何训练它们,如何教会它们正确的看待事物,是厂商的职能与责任。
  计算摄影大事件
  ◎2010年一斯坦福大学团队开发出用于计算摄影研究和实验的Franken Camera,并将其算法导入到了一台诺基亚N900手机当中。
  ◎2011年-奥林巴斯发布M4/3规格的E-PL2微型单电相机,首次在相机上实现了眼部检测功能,也就是相机可以自动对焦到人物的眼睛上。
  ◎2012年-Lytro光场相机上市销售,通过捕捉光线和景深信息,以及复杂的图像运算,可以获得先拍照后对焦、3D照片拍摄等功能。
  ◎2013年-索尼发布全画幅微单相机α7,这是首款支持眼部识别对焦功能的全画幅微单相机。
  ◎2014年-HTC M8手机问世,首次使用了双摄像头来采集深度信息,模拟背景虚化效果。
  ◎2016年-华为发布P9手机,首次使用了“彩色 黑白”的双摄组合,除了可以模拟背景虚化,黑白摄像头也可单独成像和辅助提升彩色照片画质。
  ◎2016年-苹果发布首款搭载变焦双摄的手机iPhone 7 Plus,主打人像虚化模拟,并内置了多种模拟光效。
  ◎2016年-谷歌发布Pixel手机,首次利用人工智能技术在单摄手机上实现了人像背景虚化效果。
  ◎2017年-苹果发布iOS 11操作系统,首次在移动设备上使用了HEIF(高效率图像格式),取代了JPG格式。HEIF格式的照片所占存储空间只有JPG格式的一半,支持16位色彩和更好的宽容度表现,还能在编辑图像时保留原图,实现无损编辑。
  ◎2018年-vivo在展出APEX概念机时发布了超级HDR功能、可以实现约14ev动态范围的拍摄效果。
  ◎2018年-华为发布P20系列相机,首次搭载了基于人工智能技术的夜景模式,通过算法极大的提升了手机的夜景细腻程度和宽容度。这一技术在一年后的P30系列上更加成熟。
  ◎2018-2019年-索尼为旗下α9、α7 Ⅲ、α7R Ⅲ等多款机型推送了新固件。新固件基于人工智能技术,让相机可以识别并追踪被摄主体。还可以进行更高效精准的实时眼部对焦。并且不仅能识别人眼.还可以识别一些动物的眼睛。
  ◎2019年-苹果在iPhone 11系列手机上,使用了全新的夜景算法和深度融合(Deep Fusion)技术,并将手机的智能HDR效果推上了一个新的高度。
  ◎2020年-佳能将会在旗舰单反EOS-1D X Mark Ⅲ中使用深度学习技术,提升自动对焦稳定性和追焦性能,并将支持HEIF格式照片的拍摄。
其他文献
1  他不过是机关科室里小得不能再小的科员,直到退休,也没混上个正科。但他有他的骄傲,那就是他的女儿。女儿自小就多才多艺,奖状挂了满满一面墙,这里面还有好些是全国的奖,尤其是女儿的文章,小小年纪就上了一本又一本的杂志。每逢女儿的文章发表了,他总会把杂志拿到办公室去,装模作样地在办公室看,直到被同事很“偶然”地发现,接过去,说,老杨,你女儿将来要成作家的哦!他便“嘿嘿”地笑,谦虚地说,还差得远呢,这
寶宝:妈妈,什么是南磁极?  妈妈:不知道啊。  宝宝:我告诉你吧。南磁极像个怪兽,北磁极像个铠甲勇士,铠甲勇士追着怪兽,这样不断地跑啊跑,就带动了地球的旋转。  记录人:上海 熊砚初
[摘要] 进入新世纪的俄罗斯电影在国内局势稳定、经济发展突出、社会财富剧增的基础上,呈现出重新崛起的态势。俄罗斯电影人坚持优秀传统,回归现实主义和爱国主义主题,使复兴的俄罗斯电影大步迈进国际市场。  [关键词] 新世纪 俄罗斯电影 复兴 回归    众所周知,俄罗斯电影曾有过极其辉煌的历史,数十年的光辉成就使众多的优秀影片如《战舰波特金号》、《母亲》、《雁南飞》、《一个人的遭遇》《静静的顿河》、
【摘要】 美国小说《空中骑兵》刻画了悲剧性的冲突,描绘了真实的人性,塑造了静穆的形象,语言具有崇高而素朴的特征,是美国文学中的一颗闪亮的明珠,具有很高的成就。但这篇小说在国内学界没有获得应有重视。因此本文对《空中骑兵》进行再评估。  【关键词】空中骑兵成就再评估    (一)    《空中骑兵》是美国短篇小说作家安布鲁斯,比尔斯的短篇小说杰作。故事讲述的是美国内战期间弗吉尼亚州一家富裕的种植园主
[摘要]21世纪中国女性电影蓬勃发展,中国女性导演认识到要在电影创作中凸显女性的主体意识,塑造有主体性的银幕女性形象,就必须自觉运用属于女性电影自己的叙事模式和电影语言。话语就是权力的象征。在女性主体意识萌发之后,女性语言成为女性意识表达的外在工具。  [关键词]女性电影 创作实践 主体意识    电影从1895年诞生至今,已有百余年的历史。而女性电影的产生则较晚。女性电影的产生需要两个条件,首先
[摘要] 《火烧红莲寺》拍于1928年,三年之间,连续拍了十八集之多,“武伕片”由此盛行并成为中国电影史上一道独特的风景。以《火烧红莲寺》为代表的“武伕片”成功的诠释了那个时代的大众文化心理,而特定环境中的大众心理态势又促进了民族电影的发展,这一点,对于新世纪的中国电影走向世界至关重要。因此,考察这种大众心理态势的具体内涵便有了很强的现实意义和深远的历史意义。  [关键词] 《火烧红莲寺》
看到题目的人估计会有一种错觉,专攻DVD推介的文章怎么和足球扯上了关系。其实谁也没有错,这次最先介绍的是一张名为“皇马电影”(Real,the movie)的片子,导演在全世界找了5个城市,有纽约、东京、加拉加斯、塞内加尔最后回到马德里,5种不同的方式,5种不同的文化背景,围绕着皇马这人主题。
小时候常常有病,躺在床上任由护士在细嫩的胳膊上找血管,一针扎下去,我大哭,母亲也跟着掉眼泪。我人小心也小,问妈妈是不是心疼钱,又说都怨宝宝不听话,老让大把的钱往医院里跑。妈妈听了不说什么,却是眼泪更多,也把我抱得更紧。我一直以为,母亲和父亲一样,嫌多病的我是个累赘,甚至等到后来他们离婚,我还问,是不是妈妈也不想要我?母亲的话总是很少,她的眼泪却是丰盈,永远也流不完似的,在我无数次磕碰,被人欺负,或
摘要 影片《集结号》实现了商业大片的主旋律化和主旋律电影的大众化,创造出具有典范作用的主流电影的发展样式,使得商业大片走出了美学困境。如果从长远的发展眼光来看,其对中国电影的意义有待我们进一步去挖掘。  关键词 主旋律化 大众化 困境 主流价值观    谈到商业电影,我们就会把它与大片联系起来,就会想到近几年大片发展所存在的问题。2002年《英雄》的横空出世,让人们欢呼大片时代到来的同时,一直在思
1.  凝视那些光光的冬树,你会发现它们的姿态像一个个无牵无挂的人,令人向往。树叶落了,世界敞亮了,天地间充满着柔和的光,在这样的光里走,心也变得宁静、柔和起来,时常还夹杂着一丝淡淡的喜悦。  我喜欢这样的淡,这样的静。我愿与冬一起宁静。  2.  小睡起来,是黄昏时分。外面马路上的灯已亮,远处的车声,暮色中的山,世界喧闹而寂静。没有开灯,看着窗外,天色一寸一寸暗下去,一天就又这样过去了。  日复