突破人眼极限的智能光场成像

来源 :科研成果与传播 | 被引量 : 0次 | 上传用户:xpzcz1993
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  海市蜃楼是光的折射形成的、彩虹是光的色散形成的、平静水面上的各种倒影是光的反射形成的……自然界中许多奇妙而美丽的现象都和光有着密不可分的关系。光是物理世界观测最重要的载体之一,不管是艺术还是科学,对光的追求从未停止。
  自1991年E.H.Adelson提出将光建模成一个七维全光函数,计算摄像领域自此拉开序章。清华大学副教授方璐的工作就是围绕光的感知和计算展开,她提出了新一代智能光场成像理论与技术,突破人眼极限,实现了大范围动态场景的视觉感知与处理,实现了机器看得全、看得清和看得准,她的光场成像理论与技术,是智慧城市的重要利器。
  大家所熟悉的第一代单一像感器,它的成像方式和手机的成像方式类似,本质上无法突破宽视场与高分辨之间的矛盾,即无法实现既有很大的观测范围,画面又保持高清。第二代多像感器拼接成像依然有一定局限,它难以实现大场景、多对象的动态观测,并且观测维度受限。方璐团队开展了第三代“非结构化光场智能成像”的研究,使计算光场成像有了很大进展,不仅提高了观测范围、分辨率,解决了视角受限和难以动态观测等问题,还发明了大场景、多对象智能处理等技术。
  基于第三代计算光场成像技术,方璐团队提出了一个全新的结构自适应、光场感知的新原理,研制了一系列的硬件可扩展、算法可自适应的装备,这一系列装备可以实现大场景、自适应、多维度的动态目标感知,能够看得全、看得清、看得真。以其研制的全景360°的相机为例,它既可以实现全景的感知,还可以实现局部细节的深度获取。这个相机还首次赋予了用户交互性,用户可以任意选择感兴趣的区域,并且可以放大看細节,获取画面局部的信息。这还可以有效应用于自动驾驶、VR等领域。
  前面提到的第一代、第二代、第三代计算光场成像技术本质上依然是采用的采、存、算分离的模式,方璐团队还提出了采存算一体的第四代光电计算光场视觉,即使用可控的高维光场传播代替传统的数字硅基电路,这可以将计算速度提升3个数量级,功耗降低6个数量级。除了视觉感知,还可以做更高级的比如显著性检测与分割等系列算法。
  基于以上研究,方璐团队还研制建立了PANDA(gigaPixel humAN-centric viDeo dAtaset)数据集。这是国际首个面向10亿像素视频的大范围、多人群、多目标、多尺度检测、识别、跟踪视频数据集,可用于大规模、长期和多对象视觉分析。其视频由一个10亿像素的摄像机捕获,可以覆盖超过1km2超广视场范围,其提供的视频具有高分辨率,可查看细节(每帧像素高达7.98亿)。通过这个数据集,我们既可以看到一个超大场景的多人的运动情况,同时可以实现多人群、多目标的复杂社交行为的理解。例如,识别对象是站着、坐着还是在走路;通过对比分析多个目标在一定时间内的运动状态,可以自动计算识别对象的群体关系,得出多个目标的亲密度 等。
其他文献
煤气中毒:CO是元凶  提起CO2(二氧化碳),大家可能会想起温室效应,低碳减排等词语,也知道CO2 是我们日常呼吸代谢的产物,但提起CO,大家的了解可能就不如CO2那么深入了。CO是一种无色、无臭、无刺激性的气体,汽车尾气、煤气发生炉及所有含碳物质(包括家庭用煤炉)的不完全燃烧都会产生CO。  我们常常听说的煤气中毒,就和CO有关。煤气中毒就是在通风不良的情况下,家庭用煤炉(比如液化罐和燃气灶)
期刊
戚发轫  空间技术专家,神舟飞船总设计师,国际宇航科学院院士,中国工程院院士,中国空间技术研究院顾问,北京航空航天大学宇航学院名誉院长,博士生导师,曾主持研制东方红一号、东方红二号通信卫星、东方红三号第二代通信广播卫星,主持神舟号飞船总体方案,作为总设计师在解决卫星和飞船研制过程中的重大工程技術问题上发挥了指导和决策作用。2019年,戚发轫院士获得2019年度国际宇航联合会“名人堂”奖项。  从一
期刊
从出版理念、选题策划、成本构成等方面,以系统化思维方式对我国童书出版的短视频营销进行探索式研究。首先,介绍短视频营销时代,童书出版应具备的“系统化+碎片化”理念、“严肃性+娱乐性”理念,就选题策划时如何配合后期短视频营销给出方案;其次,深入剖析童书进行短视频营销的“直接成本”和“间接成本”构成;最后,以抖音为例,提出适合目前我国童书出版现状的短视频营销三种模式。  短视频以其简明、生动、便捷的特点
期刊
我国科普期刊经历了新中国成立后的辉煌发展阶段、“文革”的十年停滞阶段、改革开放后的“百花齐放”阶段,进入二十一世纪后,面对新媒体和新技术带来的机遇与挑战,科普期刊通过改革创新走向媒体融合纵深发展之路的新历程。  1 科普期刊发展初期  我国早期真正的科普期刊数量较少,中华人民共和国成立之前,1933年创刊的《科学画报》和1937年创刊的《科学大众》影响较大,而较早创办的《亚泉杂志》(1900年创刊
期刊
访谈人物简介  任晓媛,MyH2O吾水信息平台执行总监;2018年入选福布斯中国30岁以下科学家榜单,2019年入选福布斯全球30岁以下社会企业家榜单,以及BBC全球年度100位最具影响力女性名单,2020年被联合国授予“地球卫士青年奖”。  联合国儿童基金会(UNICEF)和世界卫生组织(WHO)2019年的报告显示,目前,全球约有22亿人没有安全管理的饮用水服务,7.85亿人仍然缺乏基本饮用水
期刊
科普的内容对应着公民具备的基本科学素养,即公民具备的了解必要的科学技术知识、掌握基本的科学方法、树立科学思想、崇尚科学精神,并具备一定的应用科学处理实际问题、参与公共服务的能力,科普的内容是科普的核心和灵魂。根据第九次中国公民科学素质抽样调查结果,2015年,我国公民具备科学素质的比例达到了6.2%,比2005年的1.6%提高了近三倍,比2010年的3.27%提高了近90%,但整体发展不平衡,与世
期刊
乡村振兴是党的十九大以来,以习近平同志为核心的党中央做出的重大战略部署,乡村振兴包括生态振兴、组织振兴、产业振兴、文化振兴和人才振兴。党的十九大报告中提出“践行绿水青山,就是金山银山的理念”,生态振兴是乡村振兴的前提和基础,是乡村振兴中重要环节之一,是推动“绿水青山”发展的关键步骤;是为了更好地发展乡村产业,改善乡村生态条件,生态环境的建设,关系到乡村居民的生存条件。  乡村振兴离不开生态振兴  
期刊
随着信息技术的发展,科普自媒体逐渐成为公众获取科普知识的主要途径之一,根据商业模式定义与分类,结合科普自媒体的特点,可将科普自媒体分为自主创作型、资源合作型、媒体依托型。各科普自媒体的商业模式各具特点,也存在着各自的优势和不足,科普自媒体自身要不断加强内容建设、人才建设、品牌建设,此外,还需要各方的协助和努力。  1 科普自媒体商业模式分类  根据原磊对国外商业模式理论的梳理,商业模式的定义从经济
期刊
造纸术的发明是书写材料的一场革命,是中国古代人民对世界科学文化发展作出的一大卓越贡献。在中国悠久的历史中,纸张作为人类保存和传播文明的载体,使思想家、哲学家的智慧传给一代又一代知学善用的人,构成了现代著名的书籍和档案,不断推动着社会进步。  在纸被发明和使用之前,先民发挥聪明才智创造了很多书写载体。中国古代文字的书写经历了多个发展阶段。在没有更好的书写载体以前,天然石壁就成为古人进行刻画和记录的首
期刊
摘要:本文旨在“摸清现状”,在媒体融合纵深发展之际为我国科普期刊的改革创新发展做好基础调研工作。通过对我国科普期刊2019年年度核验数据进行整理、统计分析,对科普期刊基本现状、新媒体发展态势进行梳理,阐述融媒体环境下科技期刊发展新环境。研究发现,科普期刊呈现出以下基本态势:属地分布分散,以综合类和面向公众为主;出版单位以自负盈亏为主;从业人员总体规模较小;少量科普期刊出现发行量上行;经营收入更多元
期刊