张拳石:怀揣敬畏之心走向深度学习

来源 :科学中国人·上半月 | 被引量 : 0次 | 上传用户:fengyuguohou2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  
  “在时代的巨浪下,deep learning(深度学习)未来将向哪里发展?我不知道。我只能带着一颗敬畏的心,摸着石头过河,边走边瞧。”这是上海交通大学张拳石初次接触深度学习时的心境,如今,深度学习的方向他已经找到,但是敬畏之心一直未变。
  抉择时刻
  弗罗斯特在《未选择的路》中写道:一片树林里分出两条路,而我选择了人迹更少的一条,从此决定了我一生的道路。这句话可以算作张拳石科研生活的真实写照。
  2012年,张拳石在日本东京大学攻读博士学位,那一年,国际著名深度学习专家——辛顿带领团队参加了世界著名的ImageNet 图像识别大赛,将错误率大幅下降到15.3%,而排名第二的模型,错误率则高达26.2%,这个对比让整个人工智能领域都为之沸腾。此后一段时间内,学术界和工业界都开启了深度学习的浪潮。
  2015年,深度学习研究如火如荼,然而,他的博士后合作导师朱松纯的一句话,却让张拳石感觉当头棒喝,朱松純说:“深度学习已死。”尽管很多人对深度学习有种种担心,但是在2015年深度学习风头正劲的年代,不是每个人都敢说这样的话的,因为无论是从深度学习2015年前的势头还是2015年之后的辉煌来看,深度学习都绝对和“死亡”沾不上边。
  外行看热闹,但身处洪流之中,张拳石却比常人更清楚表面背后的危机——首先,深度学习的出现,可以实现用一个简单的算法解决所有不同难题的愿景。从整个AI发展历史来看,确实是一个了不起的进展,但是,技术手段的单一化,也让学科发展受到很大的限制,学科研究进入瓶颈。其次,理论和应用严重脱节,很多传统理论对深度学习的解释,建立在不切实际的假设上,这就让传统理论研究进入一个非常尴尬的境地。传统的理论在解释深度学习方面陷入了极大的困境,无论从知识表征角度,还是从表达能力的角度,深度学习都缺乏可靠的解释。深度学习的巨大成功带给人的是更大的迷茫:没有系统性解释和建模,只有经验,未来何去何从。
  张拳石认为,必须改变研究方向,否则,深度学习的边界一定会到来。“从2012年到2015年,深度学习的论文迎来大爆发,整个领域研究非常火热,而且不断有重大的突破和惊艳的方法涌现,但是对很多问题的理解本质上没有突破2012年的认知范畴。你今天可以在这个层面发文章,但如果5年、10年后还是在这个层面发展,那整个领域就止步不前,看不到希望了。”
  “希望人工智能应该像过去一样,持续指数爆炸地发展,而不是像物理化学等传统学科渐渐平淡下去。”这句话本身没有什么科学道理,但这是这一代学者的寄托和追求。
  然而,放弃一个如火如荼的领域,也并不容易。最明显的阻碍比如说,热门领域的研究论文中稿率很高,这对未来的职位晋升有好处,但是继续在深度学习内注水发论文,也意味着放弃自己的职业道德。所以,这不仅是一个智商层面的考虑,还有一个道德上的让步。
  也许有人说,转入新领域,耕耘无人区,不是更容易出成果吗?然而事实却并非如此。张拳石不无感慨地说:“从2015年至今,很多人立足当下往后看,发现举目四望,没有方向,深度学习未来的突破口在哪,根本不知道。”重重的难题摆在面前,到底是选择留在舒适区,还是突破自己,为行业考虑,张拳石选择了后者,从此在人迹更少的那条路上,开启了探索征程。
  拓荒前行
  深度学习当前处于百家争鸣没有定论的阶段,想找一条适合研究的路并不容易。博士后研究期间,张拳石花费了两年时间,最终找到了可解释性方向。为什么要研究这个方向?
  张拳石说:神经网络就像一个黑盒模型,解释性较弱,算法无法对特定任务给出清晰的概括,而在诸如自动驾驶、医疗和金融等决策“高风险”领域,利用深度学习进行重大决策时,往往需要知晓算法所给出结果的依据,因此,透明化深度学习的“黑盒子”,使其具有可解释性,具有重要意义。
  尽管有重大意义,但是目前可解释性领域的研究,依然停留在表面,其深度远远不足以支撑起“改造深度学习”的愿景,而且这个研究方向充满风险。在可解释性研究这个大方向里,研究人员很少,而且根本没有参考经验,所有研究者都在蹚路。有业内人士称:这个方向有可能5年、10年后能走通,但是走不通,也有可能。
  在知乎“深度学习可解释性方向的研究是不是巨坑?”的问题下,张拳石认真地回答说:“或许跳坑是科研的本分吧。从学科发展来看,只有这些坑才是真正值得去做的问题。”
  在确定深度学习的出口后,张拳石开始在可解释性方向上策马狂奔,并试图在深度学习可解释性方向上搭起框架。在对神经网络进行语义层面的解释、解构和建模方面,他尝试打通神经网络表达与符号化语义图模型表达的壁垒,在没有额外语义标注的前提下,将面向视觉任务的神经网络中的层次化信息处理结构,转化为可解释的语义图模型。在对神经网络表达能力的解释和建模层面,他提出对神经网络单词/像素信息遗忘的统一量化标准,实现对神经网络表达能力的跨层、跨网络、跨应用的公平比较;提出对神经网络中层特征中所建模的概念的一般性定义和中层概念量化算法,实现了在概念层面对神经网络表达能力的解释;定义并量化了两个神经网络中层表征的知识同构性,并基于知识同构性指标,提出解释神经网络表达能力的一般性算法。
  最终,张拳石发展了博弈交互理论,沿着可解释性方向,做出了一系列工作,试图将“知识意义层面对神经网络的解释”和“对神经网络表达能力的分析”在同一个框架下统一起来。另一方面,针对深度学习领域中“神农尝百草”式直觉性算法的各自为战的现状,张拳石希望挖掘不同算法中公共成分,去芜存菁,提炼出其内在真正有效的算法机理。
  今天的人工智能能够取得如此辉煌的进步,在很大程度上要归功于深度学习对传统任务的性能提升。但是,可解释性也是捆绑深度学习发展的一道“枷锁”,所以,要想加快人工智能的发展,必须先重视深度学习可解释性方向,解决其面临的难题。张拳石说:“我们的最终目标,就是尽量让深度学习变成一门科学,而不是一项经验性的技术,未来也许我不一定能做出来,但是我会朝着这个目标,一年一年地努力。”
其他文献
阅读下面的文字,根据要求作文。(60分)  不少网友经常遇到这样的情况:有朋友在微信群发布内容,然后发一个红包求大家转发,不少人迫于情面顺手转发了这些内容,实际上这些内容很可能就是虚假广告。  对此,网友众说纷纭。  有人说,应该禁止在朋友圈发虚假广告,这可以在很大程度上维护消费者的合法权益,值得点赞。  有人说,如果在微博、朋友圈任意转发广告,应该受到相应的处罚。  还有人说,很多人都是在不知情
摘 要 在深入学习中高职教育衔接相关文件的基础上,长春职业技术学院数控技术专业与中职学校共同探索“2 3”中高职衔接的人才培养模式,从人才培养方案的制定、课程标准的编制、考核评价体系的构建、教学环节的组织、教学過程的监控、教学管理制度的制定与实施等方面抓好衔接,确保“2 3”中高职衔接人才培养质量。  关键词 中高职衔接;数控技术专业;人才培养模式  中图分类号 G718 文献标识码 A 文章编号
山头有风  ——记于淡江遥望观音  午后的阳光聚集在  多风的山丘上,有雨  已是前阵子的故事  有人站立于山岗  远方的山头带来寓言  “多雾的山头  告知先民降雨的历史  梦里卧伏的人影  是生活的隱喻”  在多风的山岗上  风来了如此的歌声  世界开展了重重隐喻  而我锐利的分析  却不曾翻越符码的高墙,我明白  生活有太多的瞬间  足以构成永恒  于思维到达不了的边界,我站在  多风的山岗
蟑螂在自然界中有许多天敌,其中手段最可怕的要数雌性蠊泥蜂(以下简称蠊泥蜂)。蠊泥蜂会挑选较大的蟑螂作为幼虫的食物,虽然蠊泥蜂无法像黄蜂那样夹着蟑螂飞回巢穴.但它有自己的办法对付蟑螂。蠊泥蜂会先用强有力的下颚刺穿蟑螂的外骨骼,然后向蟑螂体内注射两次毒液:第一次注射会麻痹蟑螂的第一对足,使蟑螂暂时丧失移动能力;第二次注射会破坏蟑螂的逃跑反射神经,使蟑螂无法逃跑。接下来,蠊泥蜂会牵着蟑螂的一根触角,像牵
虽然“文以载道”的大目标相同,但很显然,文体不同,“载道”的具体目的和方式也各有不同。这就像不同的体育项目,固然追求更高更快更强的理念是一样的,但具体是追求更高、更快,还是更强?以何种方式来追求?不同项目,特点不同。否则,足球篮球网球都是一种方式,你能想象那将多么的无聊!  所以,每种文体都有它存在的特殊价值和意义。作为写作者,就要注意了:如果你想把自己的“道”表述得更清楚、表达得更完美,就必须选
时间就像一个无形的机器,整个世界都运行其中,它公正地流淌着,不曾因任何人的懈怠而停留。那些执着和坚守的人,他们终会把过往雕刻为一段精彩的历史。在从事全球变化研究的科学家们眼中,时间则是开展空间对比的基准。在中国科学院地球环境研究所,就有这么一支从事全球变化研究的“有思想、有平台、有成果”的高水平团队,他们徜徉在过去-现在-将来间,窥探着地球环境变化的历史与奥秘。  战略领航 掌舵定向  无论是学术
策划 本刊编辑部    2008年5月12日14时28分,  没有任何预警,大地突然颤动起来……  当天翻地覆般的震动停下来时,  人们不禁要问:  5·12四川汶川大地震究竟是怎么发生的?          这是美国宇航局最近公布的两张卫星图片,显示四川汶川震区在地震发生前后的景观。左图拍摄于2003年2月19日,右图拍摄于2008年5月12日当天地震发生之后。在这两张假彩色图片中,红色代表植被
2020年的春节注定是不平凡的,新型冠状病毒来势汹汹,在这人心惶惶的时刻,涌现出一大批与病毒抗争的人们,这样一群可爱的“逆行者”们,在前线与疫情做斗争,保卫着人民的平安。  鲁迅先生说过“自古以来,有埋头苦干的人,有拼命硬干的人,有为民请命的人,有舍身求法的人”。这就是“中国的脊梁”。在面对这场战“疫”的时刻,我们的身前身后,涌现了无数这样的人,他们,是一个个血肉之躯,拥有着爱国、爱民之心。他们肩
西方国家习惯将日本国称为“漆国”(Japan),把中国称为“瓷国”(China)。中国的瓷器之名,很好理解,是以大量优质的瓷器出口而得名;而另一项本属于我们头上的“漆国”桂冠意外地戴到了日本人的头上却是误解。人们都知道,中国是世界上最早发明漆器的国家,相传“舜漆食器”,《尚书·顾命》载:“漆仍几。”“河姆渡朱漆大碗”的出土,至少把中国以漆髹物的历史推至7000~9000年前,这要比日本在绳文晚期(
摘 要 提高用人单位对高职毕业生的满意度是高职院校质量建设的重中之重。通过对上海部分用人单位的调查结果显示,用人单位对高职毕业生总体满意度高,但对部分专项能力如组织管理能力、创新精神与能力等满意度较低,尤其是外语能力。学校应通过分析影响用人单位满意度的深层次原因,分别从深化校企合作人才培养模式、加强高职学生职业能力的培养、协同建立基于大数据的技术技能人才需求预测系统等方面着手,提高综合实践能力,以