用一部手机实现高精度人脸建模:靠算法修复缺失数据,效果堪比专业设备

来源 :海外星云 | 被引量 : 0次 | 上传用户:colinwangaaaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  如何得到一个人的高精度面部三维模型?通常情况下,对某个人的脸进行精确的三维重建需要昂贵的设备和专业知识技能,比如要用摄影棚、相机、3D扫描仪等等,各种各样的工作都集中在使用光度学立体或多视图立体技术来进行面部结构重建。
  现在,卡内基梅隆大学(CMU)的研究人员使用普通智能手机录制的视频完成了这项壮举。用智能手机拍摄脸部正面和侧面的连续视频,在深度学习算法的帮助下分析这些数据,成功对多个面部进行了数字重建,实验结果表明,他们的方法可以达到亚毫米精度,堪比专业化的处理。
  本研究项目的成员之一、CMU机器人研究所副研究员西蒙·露西(Simon Lucey)表示,面部的三维重建一直是计算机视觉和图形领域的一个公开问题,因为人们对面部特征的外观非常敏感,即使重建过程中出现轻微异常,也可能使最终结果看起来与现实差别较大,高水平的细节是个难点,也是栩栩如生的关键。
  如今,数字脸可以用来构建游戏角色或AR、VR的化身,也可以用于动画、影视制作、社交、生物识别甚至医疗等领域,商业空间可谓十分广泛,而整个制作过程或许会越来越便捷。
CMU的方法(c)与传统最先进的方法(d)效果对比

  研究人员在慢动作拍摄中使用了iPhonex,高帧速率的慢动作是原始数据采集的关键之一,视频以120帧/秒的速度拍摄,每段时长15秒~20秒,背景条件是无约束的,但需要是静态的场景,拍摄对象最好保持一种静态的表情。录像可以由拍摄对象自己录制,也可以由助手录制,之后视频会分为3个关键步骤进行处理:摄像机姿态估计;使用多视图立体生成点云;使用约束组合进行网格拟合。
  传统而言,大多数多视点人脸重建方法依赖于预先校准的摄像机或使用地标跟踪器来估计相对于几何对象的摄像机姿态。CMU团队利用视觉同步定位和映射(SLAM)的直接方法,一方面视觉SLAM可以对曲面上的点进行三角剖分以计算其形状,另一方面可实现亚像素精度的相机姿态估计。这种检测方法特别适用于特征点检测和匹配中不存在大量拐角点的人脸。
  因此,研究人员利用这个事实,输入一个单一的连续视频序列,对于一个典型的序列,可以得到50个~80个具有精确已知摄像机姿态的关键帧,经过这一步能创建出一个人脸的初始几何图形,略显粗糙,丢失的数据也会在模型中留下一些“空隙”。
其他文献
温江涛在演讲  “我们现在已经进入到了一个面向特定域设计架构的时代,现在最大的限制因素就是能耗,我们需要提出一系列新的理论指导下的算法,针对特定应用領域,面向应用和算法设计架构,面向应用和架构设计算法,思考怎么可以更高效地感知、处理我们获得的数据。”铂岩科技CEO温江涛在峰会上表示。  温江涛于2012年回到学术界后仅仅3年即当选国际知名学会IEEE Fellow,是当时中国大陆最年轻的当选者。他
阅读的艺术  作者:聂震宁  出版社:作家出版社  出版时间:2020年1月书籍简介  《阅读的艺术》辑录了著名出版人、作家聂震宁的六十余篇关于阅读、书籍乃至出版等方面的随笔、评论和演讲。作者从读者、作者身份而进入出版业,从业数十年,对阅读的价值、出版的意义及前景有着长期而细致的观察和独特的体悟,并以“阅读”为切入点,对整个文化生态有着深入的思考。作者身兼“写书人”与“出书人”,一以贯之的是一个“
欧洲空间局(ESA,European Space Agency)确定了一项2025年的发射任务:清理太空,这将是史上第一次捕获并处理轨道上的太空垃圾的任务。  与瑞士初创公司“清洁太空”签署了总额为8600万欧元的合同,委派该公司制造一款特殊卫星“清洁太空-1”(ClearSpace-1),构造近似于一颗小型卫星,该设备会用爪子抓牢太空垃圾,并将其护送至较低轨道,二者一同进入大气层并燃烧。  ES
刚刚过去的 2020 年 ECCV(欧洲计算机视觉国际会议),有一项 AI“隐身衣”技术引人瞩目。该技术来自本次会议收录的论文《光流 - 边缘引导的视频补全》。ECCV 是计算机视觉三大会议之一,每两年举办一次,论文录取率仅 27%。该论文第一作者高谌是一位九零后北京小伙,目前在弗吉尼亚理工大学计算机工程专业就读博士三年级,师从华人教授黃嘉斌。  该研究成果主要是开发出一项 AI 视频处理算法,其
2014年,一位美国46岁的男子因驾驶不稳定被警察拦下并逮捕,经检测,该男子每100毫升的血液中含有200毫克的酒精。按照美国标准,这意味着他大概喝了20杯150毫升的12度葡萄酒。这位男子坚称自己没有喝过任何含酒精的饮料,但警察并不相信他。  该男子在3年前开始出现精神恍惚、头晕和记忆力衰退的症状,他看过很多医生但都查不出病因,最后迫使他不得不放弃工作。在因“酒驾”被逮捕前,他还在服用抗抑郁药。
近期有两双新鞋受到了不少鞋迷的关注,其中一双是重现 2001 年曾在日本发售的经典鞋款 Air Jordan 1 High CO JP,并且该复刻版本在日本地区还原了当年的特殊鞋盒设计;另一双则是全新登场的 Jordan Brand 篮球鞋 AJNT 23,该鞋款则是直接配有一个印有金色 Jumpman Logo 的黑色手提箱。抛开鞋款的设计不谈,两者之所以能够获得比普通鞋款更多的关注,在 AJ
孩子想念祖母了,于是在平板电脑视频通话的时候触摸祖母的手臂,另一端佩戴电子皮肤的祖母立即感受到了孩子的抚触;男子在假肢机械手臂装上电子皮肤,当拿起手机时,顿时有了持握反馈;游戏玩家在手臂、胸部和背部佩戴电子皮肤之后,当游戏角色受到相应部位打击时,玩家也感同身受。这些场景已不再是梦想,超越目前已经实现的语音和视频通讯,抚触通讯时代到来了。  11月21日,《自然》杂志发表的一项研究报道了一种在皮肤表
擅长以摄影记录人情味的香港摄影大师何藩的摄影风格真挚动人,饱含20世纪50年代香港的思古幽情。  《铜锣湾初晓》,1948年。这幅作品描绘了香港铜锣湾扩建堤道前田园诗般的辽阔景象。铜锣湾过去曾是糖厂和制冰厂的核心工业中心,近十几年来,俨然成为香港最密集的商业集散地之一,当地的租金价格甚至超过纽约第五大道。 但在20世纪50年代,在维多利亚公园建设期间,海岸线逐渐从海湾延伸扩展  《香港仔的黄昏》,
最新研究發现,高热和高湿的天气结合现象是最危险和最致命  研究气候变化的科研人员一直警告说,地球再过50年将出现“近乎不适宜居住”的高温天气。  气候变化似乎已经是老生常谈的话题,但它与你我的现实关系远比你想象的还要近,因为极端天气已经在悄然发生。  为什么极端气候如此重要,哪些人风险最大呢?  根据发表在美国《科学进步》期刊上的一项新研究发现,高温和高湿结合的危险天气已经在全球显现,虽然有时它只
英國大学扩大速度过快,但师资队伍跟不上也影响了教学质量  英国高校在世界排行榜上排名连续4年持续下滑,但与此同时,亚洲院校跻身百强数量显著上升。  根据QS世界大学排行榜研究机构最新出炉的统计,近3/4英国大学名次下滑,是表现最差的一年。  唯独伦敦帝国理工大学除外,帝国理工排名比上次有所改善,上升到第8位。  牛津大学从第4名滑落到第5名,伦敦大学学院从第八跌至第10名,剑桥大学保住第7,爱丁堡