论文部分内容阅读
在智能手機崛起的今日，中国仍然严重依赖外国芯片供应商，中国即将迎来第14个五年计划（2021年至2025年），而在贸易关系紧张的当下，实现技术独立仍是中国IC设计行业的主要目标。其中，物联网芯片和开源架构的发展将是关键方向，尽快建立起自己的IC生产线也会成为应对与美国贸易战的重要战略。根据相关的资料显示，目前中国IC设计企业已超过1500家，但AI芯片相关的公司却比较少，创企仅超过20家。那么AI芯片到底是什么，与我们普通的CPU有何区别呢？
从原理逻辑来看，AI处理器是一种特殊的芯片，它结合了人工智能技术和机器学习，使搭载该芯片的移动设备足够智能，可以模仿人类的大脑，用于优化深度学习AI的工作，也是使用多个具有特定功能的处理器的系统。而普通的芯片（普通CPU）则被封装在一个更小的芯片包中，设计用于支持移动应用程序，提供支持移动设备应用程序所需的所有系统功能。
大多数时候，各个大公司营销团队发现AI（人工智能）这个词非常“好用”，几乎把它捆绑到任何可能的商业用途中。你肯定听说过“人工智能芯片”，其实它是NPU（神经处理单元）的重命名版本，这是特殊类型的ASIC（专用集成电路），旨在移动市场中将机器学习广泛应用。
这些ASIC有一种特殊的架构设计，使它们能够更快地执行机器学习模型，而不是将数据下载到服务器，然后等待它的响应。这种执行可能没有那么强大，但由于数据和处理中心之间的障碍更小，所以速度会更快。
通俗来说，我们可以理解为NPU就是AI芯片，普通芯片就是CPU。
CPU在一般的负载环境中工作会很好，因为它有一个较高的IPC，可以通过许多串行执行。且CPU遵循的是冯诺依曼架构，其核心是存储程序，按顺序执行。CPU的架构中需要大量的空间去放置存储单元（Cache）和控制单元（Control），相比之下计算单元只占据了很小的一部分，所以它在大规模并行计算能力上极受限制，而更擅长于逻辑控制。
NPU和GPU的亮点在于它们能够运行多个并行线程，NPU通过一些特殊的硬件级优化，比如为一些真正不同的处理核提供一些容易访问的缓存系统，将其提升到另一个层次。这些高容量内核比通常的“常规”处理器更简单，因为它们不需要执行多种类型的任务。这一整套的“优化”使得NPU更加高效，这就是为什么这么多的研发会投入到ASIC中的原因。
机器学习模型处理要求CPU、DSP、GPU和NPU同时同步，这是很多芯片处理单元在共同工作。但这也解释了为什么这样执行对于移动设备来说是“沉重的”。NPU的优势之一在于，大部分时间集中于低精度的算法、新的数据流架构或内存计算能力。与GPU不同，它们更关注吞吐量而不是延迟。
当然AI算法是至关重要的，在图像识别等领域，常用的是CNN卷积网络，语音识别、自然语言处理等领域，主要是RNN，这是两类有区别的算法。但是，它们本质上，都是矩阵或vector的乘法、加法，然后配合一些除法、指数等算法。
另外，一个成熟的AI算法，针对卷积运算和加权求和的特定数学进行了优化。这个过程非常快。对于AI芯片来说，如果确定了具体的目标尺寸，那么总的乘法加法计算次数是确定的。比如一万亿次计算，用AI芯片跑程序，吃顿饭的工夫就就解决了，而CPU需要运行好几个礼拜，时间上的差距，让任何一家商业公司都不会浪费时间。
包括英伟达竞争对手在内很少有人会对英伟达今天在AI芯片游戏中占主导地位这一事实提出异议
当今人工智能芯片顶级开发公司，已经投入生产或者即将投入生产有潜质的公司，大家可以了解一下，其中有耳熟能详的，也有颇为陌生的：
1. Alphabet（谷歌母公司）
谷歌的母公司倡导人工智能技术在多个领域的发展，包括云计算、数据中心、移动设备和台式电脑。可能最值得注意的是它的张量处理单元（Tensor Processing Unit），这是一款专门为谷歌的TensorFlow编程框架设计的ASIC，主要用于AI的两个分支机器学习和深度学习。
谷歌的Cloud TPU是应用于数据中心或云解决方案，其大小相当于一张信用卡，而Edge TPU大小是小于一美分的硬币， 是专为某些特定的设备而设计的。尽管如此，更仔细观察这一市场的分析师说，谷歌的Edge TPU不太可能在短期内出现在该公司自己的智能手机和平板电脑上，而更有可能被用于更昂贵的机器和设备上。
2. 苹果
苹果在此前召开的 WWDC 全球开发者大会上宣布 Mac 产品线将从英特尔芯片转至自研芯片 Apple Silicon，还有开发基于ARM 芯片的游戏主机。苹果开发自己的ARM芯片，最终可能会彻底停止使用英特尔等供应商的产品。苹果也基本上摆脱了与高通的纠缠，看起来确实决心要在未来的人工智能领域走自己的路。
苹果在最新款的iPhone和iPad上使用了A13“仿生”芯片。该芯片使用了苹果的神经引擎，这是电路的一部分，第三方应用程序无法使用。A13仿生芯片还有6个CPU内核：其中两个是在2.66 GHz频率下运行的高性能内核（称为Lightning），另外4个则是效率内核（称为Thunder）。与此同时，这款新片配有一个四核图形处理器、一个LTE调制解调器、一个苹果设计的图像处理器，以及一个八核神经引擎，用于支持机器智能功能，每秒可以进行超过5万亿次运算。
3. ARM ARM （ArmHoldings）生产的芯片被包括苹果在内的所有领先技术制造商采用。作为一个芯片设计师，它不制造自己的芯片，这给了它某种优势，就像微软不制造自己的电脑一样。换句话说，ARM 在市场上有着巨大的影响力。该公司目前正沿着三个主要方向开发人工智能芯片设计： Project Trillium，一种“超高效”、可扩展的新型处理器，目标是机器学习应用;机器学习处理器，这是不言而喻的;ARM NN是神经网络的缩写，它是一种用于处理TensorFlow的处理器，Caffe是一种深度学习框架，还有其他一些结构。
4. Intel（英特尔）
早在2016年，芯片巨头英特尔收购初创公司NervanaSystems，获得了该公司的软件、云计算服务和硬件，从而使产品更好地适应人工智能的发展。它的人工智能芯片系列，被称为“神经网络处理器”：人工神经网络模仿人类大脑的工作方式，通过经验和实例进行学习，这就是为什么你经常听到机器和深度学习系统需要“训练”。随着之前发布的Nervana，英特尔似乎将优先解决与自然语言过程和深度学习相关的问题。
5. NVIDIA（英伟达）
分析师表示，尽管目前ARM处理器的性能可能无法与英特尔相提并论，但其节俭的电力需求也使其成为数据中心的诱人选择。在软件方面，除了支持大数据工具Apache Spark外，英伟达推出了Jarvis，这是一个用于构建会话AI服务的新应用程序框架。英伟达指出，要提供交互式的个性化体验，公司需要在针对其自身产品和客户需求的数据上训练其基于语言的应用程序。
AMD正在努力成为人工智能领域重要的参与者
但是，从头开始构建服务需要深厚的AI专业知识、大量数据以及用于训练模型的计算资源，并需要使用新数据定期更新模型的软件。Jarvis包含最新的深度学习模型，可以使用英伟达NeMo进行进一步的微调，使用TensorRT进行推理优化，并使用英伟达的GPU目录NGC上的Helm图表将其部署在云中和边缘优化的软件中。
6. AMD（超微半导体）
和英伟达一样，AMD是另一家与显卡和GPU有着密切联系的芯片制造商，部分原因是过去几十年电脑游戏市场的增长，以及比特币矿业的增长。AMD提供硬件和软件解决方案，如EPYC CPU和Radeon Instinct GPU的机器学习和深度学习。
Epyc是AMD为服务器（主要用于数据中心）提供的处理器名称，而Radeon则是一款主要面向游戏玩家的图形处理器。AMD提供的其他芯片包括Ryzen，也许还有更知名的Athlon。该公司在人工智能专用芯片的开发上似乎还处于相对早期的阶段，但鉴于其在GPU领域的相对实力，观察家们认为它将成为该市场的领导者之一。AMD已签约向美国能源部提供Epyc和Radeon系统，用于建造世界上最快、最强大的超级计算机之一，被称为“Frontier”。
7. Qualcomm（高通）
去年高通发布了一款新的“云人工智能芯片”，将其与5G方面的开发联系起来。这两项技术被认为是构建自动驾驶汽车和移动计算设备新生态系统的基础。分析师表示，高通在人工智能芯片领域算是后来者，但该公司在移动设备市场拥有丰富经验，这将有助于实现其“让设备上的人工智能無处不在”的目标。
当然，其他还有三星、台积电、脸书、 IBM、 LG等大型国际公司也在研发自己的AI芯片，谁能先掌握最前沿的AI芯片，谁就能在新的经济上升潮流中分一杯羹。
目前全球人工智能产业依旧处在高速的发展中，不同的行业分布为人工智能的应用提供了广阔的市场前景，商业化的社会需要人工智能的应用，AI芯片是实现算法的硬件基础，也是未来人工智能时代的战略制高点，全球的各大顶级公司会为此而战。但由于目前 的 AI 算法往往都各具优劣，只有给它们设定一个合适的场景才能最好地发挥它们的作用，也希望AI可以尽早进入我们普通人的视线中。
NPU相对普通CPU有什么优势？
从原理逻辑来看，AI处理器是一种特殊的芯片，它结合了人工智能技术和机器学习，使搭载该芯片的移动设备足够智能，可以模仿人类的大脑，用于优化深度学习AI的工作，也是使用多个具有特定功能的处理器的系统。而普通的芯片（普通CPU）则被封装在一个更小的芯片包中，设计用于支持移动应用程序，提供支持移动设备应用程序所需的所有系统功能。
大多数时候，各个大公司营销团队发现AI（人工智能）这个词非常“好用”，几乎把它捆绑到任何可能的商业用途中。你肯定听说过“人工智能芯片”，其实它是NPU（神经处理单元）的重命名版本，这是特殊类型的ASIC（专用集成电路），旨在移动市场中将机器学习广泛应用。
这些ASIC有一种特殊的架构设计，使它们能够更快地执行机器学习模型，而不是将数据下载到服务器，然后等待它的响应。这种执行可能没有那么强大，但由于数据和处理中心之间的障碍更小，所以速度会更快。
通俗来说，我们可以理解为NPU就是AI芯片，普通芯片就是CPU。
CPU在一般的负载环境中工作会很好，因为它有一个较高的IPC，可以通过许多串行执行。且CPU遵循的是冯诺依曼架构，其核心是存储程序，按顺序执行。CPU的架构中需要大量的空间去放置存储单元（Cache）和控制单元（Control），相比之下计算单元只占据了很小的一部分，所以它在大规模并行计算能力上极受限制，而更擅长于逻辑控制。
NPU和GPU的亮点在于它们能够运行多个并行线程，NPU通过一些特殊的硬件级优化，比如为一些真正不同的处理核提供一些容易访问的缓存系统，将其提升到另一个层次。这些高容量内核比通常的“常规”处理器更简单，因为它们不需要执行多种类型的任务。这一整套的“优化”使得NPU更加高效，这就是为什么这么多的研发会投入到ASIC中的原因。
机器学习模型处理要求CPU、DSP、GPU和NPU同时同步，这是很多芯片处理单元在共同工作。但这也解释了为什么这样执行对于移动设备来说是“沉重的”。NPU的优势之一在于，大部分时间集中于低精度的算法、新的数据流架构或内存计算能力。与GPU不同，它们更关注吞吐量而不是延迟。
当然AI算法是至关重要的，在图像识别等领域，常用的是CNN卷积网络，语音识别、自然语言处理等领域，主要是RNN，这是两类有区别的算法。但是，它们本质上，都是矩阵或vector的乘法、加法，然后配合一些除法、指数等算法。
另外，一个成熟的AI算法，针对卷积运算和加权求和的特定数学进行了优化。这个过程非常快。对于AI芯片来说，如果确定了具体的目标尺寸，那么总的乘法加法计算次数是确定的。比如一万亿次计算，用AI芯片跑程序，吃顿饭的工夫就就解决了，而CPU需要运行好几个礼拜，时间上的差距，让任何一家商业公司都不会浪费时间。
全球AI芯片公司争夺新兴市场
当今人工智能芯片顶级开发公司，已经投入生产或者即将投入生产有潜质的公司，大家可以了解一下，其中有耳熟能详的，也有颇为陌生的：
1. Alphabet（谷歌母公司）
谷歌的母公司倡导人工智能技术在多个领域的发展，包括云计算、数据中心、移动设备和台式电脑。可能最值得注意的是它的张量处理单元（Tensor Processing Unit），这是一款专门为谷歌的TensorFlow编程框架设计的ASIC，主要用于AI的两个分支机器学习和深度学习。
谷歌的Cloud TPU是应用于数据中心或云解决方案，其大小相当于一张信用卡，而Edge TPU大小是小于一美分的硬币， 是专为某些特定的设备而设计的。尽管如此，更仔细观察这一市场的分析师说，谷歌的Edge TPU不太可能在短期内出现在该公司自己的智能手机和平板电脑上，而更有可能被用于更昂贵的机器和设备上。
2. 苹果
苹果在此前召开的 WWDC 全球开发者大会上宣布 Mac 产品线将从英特尔芯片转至自研芯片 Apple Silicon，还有开发基于ARM 芯片的游戏主机。苹果开发自己的ARM芯片，最终可能会彻底停止使用英特尔等供应商的产品。苹果也基本上摆脱了与高通的纠缠，看起来确实决心要在未来的人工智能领域走自己的路。
苹果在最新款的iPhone和iPad上使用了A13“仿生”芯片。该芯片使用了苹果的神经引擎，这是电路的一部分，第三方应用程序无法使用。A13仿生芯片还有6个CPU内核：其中两个是在2.66 GHz频率下运行的高性能内核（称为Lightning），另外4个则是效率内核（称为Thunder）。与此同时，这款新片配有一个四核图形处理器、一个LTE调制解调器、一个苹果设计的图像处理器，以及一个八核神经引擎，用于支持机器智能功能，每秒可以进行超过5万亿次运算。
3. ARM ARM （ArmHoldings）生产的芯片被包括苹果在内的所有领先技术制造商采用。作为一个芯片设计师，它不制造自己的芯片，这给了它某种优势，就像微软不制造自己的电脑一样。换句话说，ARM 在市场上有着巨大的影响力。该公司目前正沿着三个主要方向开发人工智能芯片设计： Project Trillium，一种“超高效”、可扩展的新型处理器，目标是机器学习应用;机器学习处理器，这是不言而喻的;ARM NN是神经网络的缩写，它是一种用于处理TensorFlow的处理器，Caffe是一种深度学习框架，还有其他一些结构。
4. Intel（英特尔）
早在2016年，芯片巨头英特尔收购初创公司NervanaSystems，获得了该公司的软件、云计算服务和硬件，从而使产品更好地适应人工智能的发展。它的人工智能芯片系列，被称为“神经网络处理器”：人工神经网络模仿人类大脑的工作方式，通过经验和实例进行学习，这就是为什么你经常听到机器和深度学习系统需要“训练”。随着之前发布的Nervana，英特尔似乎将优先解决与自然语言过程和深度学习相关的问题。
5. NVIDIA（英伟达）
分析师表示，尽管目前ARM处理器的性能可能无法与英特尔相提并论，但其节俭的电力需求也使其成为数据中心的诱人选择。在软件方面，除了支持大数据工具Apache Spark外，英伟达推出了Jarvis，这是一个用于构建会话AI服务的新应用程序框架。英伟达指出，要提供交互式的个性化体验，公司需要在针对其自身产品和客户需求的数据上训练其基于语言的应用程序。
但是，从头开始构建服务需要深厚的AI专业知识、大量数据以及用于训练模型的计算资源，并需要使用新数据定期更新模型的软件。Jarvis包含最新的深度学习模型，可以使用英伟达NeMo进行进一步的微调，使用TensorRT进行推理优化，并使用英伟达的GPU目录NGC上的Helm图表将其部署在云中和边缘优化的软件中。
6. AMD（超微半导体）
和英伟达一样，AMD是另一家与显卡和GPU有着密切联系的芯片制造商，部分原因是过去几十年电脑游戏市场的增长，以及比特币矿业的增长。AMD提供硬件和软件解决方案，如EPYC CPU和Radeon Instinct GPU的机器学习和深度学习。
Epyc是AMD为服务器（主要用于数据中心）提供的处理器名称，而Radeon则是一款主要面向游戏玩家的图形处理器。AMD提供的其他芯片包括Ryzen，也许还有更知名的Athlon。该公司在人工智能专用芯片的开发上似乎还处于相对早期的阶段，但鉴于其在GPU领域的相对实力，观察家们认为它将成为该市场的领导者之一。AMD已签约向美国能源部提供Epyc和Radeon系统，用于建造世界上最快、最强大的超级计算机之一，被称为“Frontier”。
7. Qualcomm（高通）
去年高通发布了一款新的“云人工智能芯片”，将其与5G方面的开发联系起来。这两项技术被认为是构建自动驾驶汽车和移动计算设备新生态系统的基础。分析师表示，高通在人工智能芯片领域算是后来者，但该公司在移动设备市场拥有丰富经验，这将有助于实现其“让设备上的人工智能無处不在”的目标。
当然，其他还有三星、台积电、脸书、 IBM、 LG等大型国际公司也在研发自己的AI芯片，谁能先掌握最前沿的AI芯片，谁就能在新的经济上升潮流中分一杯羹。
目前全球人工智能产业依旧处在高速的发展中，不同的行业分布为人工智能的应用提供了广阔的市场前景，商业化的社会需要人工智能的应用，AI芯片是实现算法的硬件基础，也是未来人工智能时代的战略制高点，全球的各大顶级公司会为此而战。但由于目前 的 AI 算法往往都各具优劣，只有给它们设定一个合适的场景才能最好地发挥它们的作用，也希望AI可以尽早进入我们普通人的视线中。