论文部分内容阅读
“深度学习所需的大规模样本数据对于算力产生巨大需求，但近日美国麻省理工学院等研究机构的报告显示，深度学习正在逼近算力极限，而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”
美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现，深度学习的进步强烈地依赖于计算的增长。其结论显示，训练模型的进步取决于算力的大幅提高，具体来说，计算能力提高10倍相当于3年的算法改进成果。大量数据和算力是促进人工智能发展的重要因素，但是研究人员认为，深度学习正在逼近算力极限。换言之，算力提高的背后，其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。
研究人员表示，深度学习急需革命性的算法才能让AI更有效地学习，并越来越像人类。那么，为何深度学习算法十分依赖算力的增长，现在算力的极限在哪里，如何突破？除了算力，深度学习还能否依靠其他方式改进算法性能？革命性算法的标准是什么？
大规模样本数据催生计算需求
“深度学习本质上是基于统计的科学，所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证明非常有效，并在产品中有广泛的使用，同时这也让深度学习对计算能力有着更大要求和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。
人工智能设计之初，并没有考虑节能原则，只要有足够的算力和电力，算法就可以一直跑下去。
2019年6月，美国马萨诸塞州大学阿默斯特分校的一份报告显示，训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量，这相当于美国普通汽车使用寿命内排放量的近5倍。此外，优越的灵活性使深度学习可以很好地建立不同的模型，超越专家的模型，但也带来昂贵的算力成本。深度学习需要的硬件负担和计算次数，背后消耗的是巨额资金。
一份业内报告显示，华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元。另据报道，著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型，而GPT-2语言模型，每小时训练花费则达到256美元。
改进算法降低对计算平台要求
实际上，算力一直在提高。OpenAI一项研究表明，自2012年以来，每16个月将AI模型训练到ImageNet（一个用于视觉对象识别软件研究的大型可视化数据库）图像分类中，相同性能模型所需的计算量就减少了一半;谷歌的Transformer架构超越了其之前开发的seq2架构，计算量减少了61倍;DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配，其计算量也减少了8倍。
有网友提出，现在的硬件算力提升有些误区，不一定非得在单位面积上堆更多的晶体管，我们需要更好的框架来支持底层计算条件及相应的硬件改进。理想情况下，用消费级的GPU就能运行很多深度模型。
“人们对深度学习的性能或结果的要求越来越高，随之对于算力的需求也越来越大。要让算力增长或突破，从算法层面，首先可以优化并行计算，有效利用多机多核的计算能力，灵活满足各种需求。同时，相对于传统的基于单机编写的程序，如果改写为多机多核的并行程序，能够充分利用其CPU和GPU（或AI芯片）的资源，将使运行效率大幅度提升。”西安电子科技大学电子工程学院教授吴家骥表示。
除了算力，深度学习本身还可通过哪些方式改进算法？吴家骥介绍，深度学习都是在异构硬件上运行，大数据进入时，需要分流处理，从算法上来看，可以调度优化，让异构架构（CPU、GPU、AI芯片）因地制宜地调度深度学习和大数据处理业务。
吴家骥指出，未来可能很长一段时间内，对深度算法的改进，不仅要从架构、硬件上考虑，还要考虑模型的压缩能力。例如，就具体问题而言，考虑如何把大象关进冰箱，但问题是冰箱关不了大象，但若把大象压缩成小猫小狗的大小，就可装入冰箱。这就需要模型压缩，在保证精度的前提下，压缩神经网络模型，降低对计算平台的要求，大大提高计算效率，满足更多的实际场景需求。
研究人员认为，在算法水平上进行深度学习改进已有先例。例如谷歌的张量处理单元，现场可编程门阵列和专用集成电路，并试图通过网络压缩和加速技术来降低计算复杂性。他们还引用了神经体系结构搜索和元学习，查找在一类问题上保持良好性能的体系结构，以此作为计算上有效改进算法的途径。
算力增长未必会让AI拥有类人智力
无疑，算法突破的目的是让机器更像人类大脑一样具有神经元的功能。但就功耗而言，大脑要像超级计算机那样运算，自身温度就会飙升上百摄氏度，所以若简单认为更多的计算能力就可让人工智能拥有人类智能的想法显然是存在争议的。
“人类的智能中基因与常识是机器所不具备的，其中基因是不需要计算的，常识是可以通过简单计算实现的。”谭茗洲指出。
“常识决定了基本能力、发现力和创造力，而具有常识能力，是更先进意义上的人工智能。革命性的算法，就是要让AI具备拥有学习常识的能力，这也是未来一个很有潜力的研究方向。”吴家骥说。
有人说，深度学习大多数是“炼金术”，大多数算法是对经验更朴实的归纳，对说的问题进行更精辟的演绎。谭茗洲说：“现在数据非常多，算力也在增强，人们依赖深度学习提升AI智力，但‘傻学硬练’形成更强的学习方法，很难达到或超越人类的算力及智力。”
那么，革命性算法的标准是什么，为什么优于深度学习的算法迟迟没出现？
谭茗洲认为，革命算法的标准首先是在不同场景具有高适应度，可以形成知识记忆和经验记忆的算法，并且低耗能低成本。未来革命性算法有可能基于三点提升，一是基于常识推理。由于我们面对的大量场景不是通过大量数据训练而来，人类大脑面对这些场景往往是通过常识推理运算而得出结论，而深度学习并没有建立这套体系。另外，常识和常识之间的关联性，加速了人类对结果的推理速度。二是基于負性小样本的学习。在深度学习模型中，往往很少去学习什么是错误的，而汲取负面行为及教训性质类型的小样本是有学习意义的。三是基于交流、沟通的学习，人与人交流在学习中分几个层次，看、听、模仿等，AI也应多从这几个方面入手，建立以交通、沟通为目的的学习，而不是单单通过大数据训练模仿人类智能。
美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现，深度学习的进步强烈地依赖于计算的增长。其结论显示，训练模型的进步取决于算力的大幅提高，具体来说，计算能力提高10倍相当于3年的算法改进成果。大量数据和算力是促进人工智能发展的重要因素，但是研究人员认为，深度学习正在逼近算力极限。换言之，算力提高的背后，其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。
研究人员表示，深度学习急需革命性的算法才能让AI更有效地学习，并越来越像人类。那么，为何深度学习算法十分依赖算力的增长，现在算力的极限在哪里，如何突破？除了算力，深度学习还能否依靠其他方式改进算法性能？革命性算法的标准是什么？
大规模样本数据催生计算需求
“深度学习本质上是基于统计的科学，所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证明非常有效，并在产品中有广泛的使用，同时这也让深度学习对计算能力有着更大要求和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。
人工智能设计之初，并没有考虑节能原则，只要有足够的算力和电力，算法就可以一直跑下去。
2019年6月，美国马萨诸塞州大学阿默斯特分校的一份报告显示，训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量，这相当于美国普通汽车使用寿命内排放量的近5倍。此外，优越的灵活性使深度学习可以很好地建立不同的模型，超越专家的模型，但也带来昂贵的算力成本。深度学习需要的硬件负担和计算次数，背后消耗的是巨额资金。
一份业内报告显示，华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元。另据报道，著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型，而GPT-2语言模型，每小时训练花费则达到256美元。
改进算法降低对计算平台要求
实际上，算力一直在提高。OpenAI一项研究表明，自2012年以来，每16个月将AI模型训练到ImageNet（一个用于视觉对象识别软件研究的大型可视化数据库）图像分类中，相同性能模型所需的计算量就减少了一半;谷歌的Transformer架构超越了其之前开发的seq2架构，计算量减少了61倍;DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配，其计算量也减少了8倍。
有网友提出，现在的硬件算力提升有些误区，不一定非得在单位面积上堆更多的晶体管，我们需要更好的框架来支持底层计算条件及相应的硬件改进。理想情况下，用消费级的GPU就能运行很多深度模型。
“人们对深度学习的性能或结果的要求越来越高，随之对于算力的需求也越来越大。要让算力增长或突破，从算法层面，首先可以优化并行计算，有效利用多机多核的计算能力，灵活满足各种需求。同时，相对于传统的基于单机编写的程序，如果改写为多机多核的并行程序，能够充分利用其CPU和GPU（或AI芯片）的资源，将使运行效率大幅度提升。”西安电子科技大学电子工程学院教授吴家骥表示。
除了算力，深度学习本身还可通过哪些方式改进算法？吴家骥介绍，深度学习都是在异构硬件上运行，大数据进入时，需要分流处理，从算法上来看，可以调度优化，让异构架构（CPU、GPU、AI芯片）因地制宜地调度深度学习和大数据处理业务。
吴家骥指出，未来可能很长一段时间内，对深度算法的改进，不仅要从架构、硬件上考虑，还要考虑模型的压缩能力。例如，就具体问题而言，考虑如何把大象关进冰箱，但问题是冰箱关不了大象，但若把大象压缩成小猫小狗的大小，就可装入冰箱。这就需要模型压缩，在保证精度的前提下，压缩神经网络模型，降低对计算平台的要求，大大提高计算效率，满足更多的实际场景需求。
研究人员认为，在算法水平上进行深度学习改进已有先例。例如谷歌的张量处理单元，现场可编程门阵列和专用集成电路，并试图通过网络压缩和加速技术来降低计算复杂性。他们还引用了神经体系结构搜索和元学习，查找在一类问题上保持良好性能的体系结构，以此作为计算上有效改进算法的途径。
算力增长未必会让AI拥有类人智力
无疑，算法突破的目的是让机器更像人类大脑一样具有神经元的功能。但就功耗而言，大脑要像超级计算机那样运算，自身温度就会飙升上百摄氏度，所以若简单认为更多的计算能力就可让人工智能拥有人类智能的想法显然是存在争议的。
“人类的智能中基因与常识是机器所不具备的，其中基因是不需要计算的，常识是可以通过简单计算实现的。”谭茗洲指出。
“常识决定了基本能力、发现力和创造力，而具有常识能力，是更先进意义上的人工智能。革命性的算法，就是要让AI具备拥有学习常识的能力，这也是未来一个很有潜力的研究方向。”吴家骥说。
有人说，深度学习大多数是“炼金术”，大多数算法是对经验更朴实的归纳，对说的问题进行更精辟的演绎。谭茗洲说：“现在数据非常多，算力也在增强，人们依赖深度学习提升AI智力，但‘傻学硬练’形成更强的学习方法，很难达到或超越人类的算力及智力。”
那么，革命性算法的标准是什么，为什么优于深度学习的算法迟迟没出现？
谭茗洲认为，革命算法的标准首先是在不同场景具有高适应度，可以形成知识记忆和经验记忆的算法，并且低耗能低成本。未来革命性算法有可能基于三点提升，一是基于常识推理。由于我们面对的大量场景不是通过大量数据训练而来，人类大脑面对这些场景往往是通过常识推理运算而得出结论，而深度学习并没有建立这套体系。另外，常识和常识之间的关联性，加速了人类对结果的推理速度。二是基于負性小样本的学习。在深度学习模型中，往往很少去学习什么是错误的，而汲取负面行为及教训性质类型的小样本是有学习意义的。三是基于交流、沟通的学习，人与人交流在学习中分几个层次，看、听、模仿等，AI也应多从这几个方面入手，建立以交通、沟通为目的的学习，而不是单单通过大数据训练模仿人类智能。