论文部分内容阅读
ARM近期发布的两个全新平台指向了新的市场，甚至有挑战AMD和英特尔的可能。不过历史上ARM多次试图进入利润率更高的服务器或计算市场，然而都铩羽而归，那么这一次ARM会成功吗？新的平台又有哪些特性呢？
在移动计算市场拥有领先地位的ARM，却一直在桌面计算、服务器等对性能要求更高的市场中表现不佳。诚然在过去数年中，ARM不止一次对高性能领域发起冲击，但结果并不理想。回头来看，ARM主要缺乏的是一整套生态系统来适应不同场合下的计算需求。为了解决这个问题，ARM计划设计一整套计算平台，它能够通过大幅提高ARM产品的性能从而获得进入新市场的能力。
在近期的发布会上，ARM推出了2个全新平台——Neoverse N1和Neoverse E1，这两个平台将成为未来几年ARM Ares计算平台的核心。所谓计算平台是一种全新的提法，目前ARM规划的以Cortex-A76为核心一整套产品被称为Cosmos平台，工艺采用14/16nm，2019年将进化至Ares平台，工艺提升至7nm。2020年有zeus平台，工艺提升到7/5nm ，2021年的Poseidon器。平台包含处理器、总线、多核心系统等。Neoverse N1和相对应的处理器代表了ARM首款专为服务器和基础设施市场设计的专用IP，这是对过去ARM在运营IP方案上的重大改变——消费市场和行业解决方案分离，面向消费市场以Cortex为主，面向行业客户则由Neoverse披挂上阵。平台将采用5nm工艺制造。今天我们的重点是Ares平台。
Neoverse N1面向高性能设备，它是平台名称，与之对应的CPU核心架构名称也一样——Neoverse N1处理
Neoverse N1处理器浅析
首款Neoverse N1处理器的架构和Cortex-A76都是由ARM位于奥斯汀的设计团队所主导，因此它们在内核设计上存在一定相似之处。这一部分本文不再赘述，而将重点放在对Neoverse
N1创新设计方面的介绍。
在Neoverse N1的设计目标上，ARM想让它成为一个高性能架构，并拥有未来数年可重复使用的基础。ARM将在这代处理器中重新调校微架构，使其能够以最高频率运行。在这—点上，ARM与AMD、英特尔的路线不同，后两家面向高性能平台的产品受制于功耗、面积等因素，频率相比消费级产品更低，但是在ARM的设计中却是相反的，处理器频率可能更高。
Neoverse N1處理器的架构采用74发射读取/解码设计，流水线深度只有11级，ARM将其称为“手风琴”管道。这种设计的特点是根据不同指令，流水线深度可以在运行延迟敏感型指令的时候将长度减少至9个阶段，其中第二预测阶段能够和第一预测阶段重合，并且调度阶段能够和第一个发布阶段重叠。执行后端有2个简单AIU，一个复杂的AIU用于计算乘法和除法，两个全宽的128bit SIMD流水线用于处理矢量和浮点计算。在数据吞吐能力方面，ARM依旧设计了2个128位的加载/存储单元，能够维持足够的带宽来满足流水线的需求。在前端，Neoverse N1拥有大型的低延迟L1和L2。ARM还采用分支预测设计和方向预测缓冲器，使得处理器不仅仅通过宽核心来提高性能，还可以通过最高效率的最小分支化和缓存的高效率来达到这个目的。在这些方面，它与Cortex-A76很类似。
Neoverse N1当然有着一些独特设计，比如缓存设计上。它的L1数据缓存和指令缓存部分都是64KB、4-way设计，其中最重要的改变是整个缓存完全采用了一致性设计，它大幅度简化了虚拟环境的实现并且极大地提高了性能。而且这一设计对ARM在超大规模计算中保持竞争力也是必须的，因为这可以很方便地扩展核心数量。ARM宣称Neoverse N1处理器的架构可以应对核心数量超过16个的处理器设计方案，并具有良好的扩展l生。L2缓存方面，ARM提供了512KB或者1MB两种选项。512KB的配置方案和传统的Cortex-A76配置方案相当，而1MB缓存主要针对基础架构领域中对存储空间较为敏感的应用。需要注意的是，将缓存增加到1MB并不是没有代价的，这种配置中缓存的延迟会提升2个周期，从而带来一定程度的性能下降，考虑流水线延迟，使用这种配置方案时最大延迟可能会达到11个周期。
Neoverse N1和Cortex家族的根本差异来自于内存方案，前者采用网状Mesh连接，而不是直接连接至CPu集群。这一点在cMN-600的网状连接中已经有体现。这种连接首先通过CAI或者组件聚合层进行，每个CAI最多支持2个连接接口，这就是为什么ARM会为每个“集群”配置2个CPU核心（实际上并不是一个集群，只是为了满足连接端口的需求）。然后CAI会连接到网络的交叉点，它基本上是由网络的交换机或者路由器构成。每个交叉点都有2个端口可用，A一个端口用于连接别的交叉点，剩余一个端口用于连接系统级高速缓存，也就是SLC。在64核心、32个区块（每个区块有2个CPu核心和具有2MB SLC）的系统中，整个64MB缓存的平均负载使用延迟为22ns。ARM以秒而不是常见的周期来显示延迟的原因主要是因为SLC和通讯网络运行在不同的时钟频率下，这个频率通常为核心的2/3，和核心处于异步运行的状态。
从Neoverse N1在核心连接架构上所体现出的功能来看，直接连接是新架构或者CMN-600总线所带来的不可或缺的设计，这在之前的处理器上从未出现过。直连设计删除了之前DSU上所有的通讯逻辑，转而采用CPU核心直接连接到CMN的CHI接口。因此，存储控制器和CPU之间也需要经过网状网络，而不是直连，这在桌面超多核心的设计中是比较常见的内容。考虑到ARM移动处理器背景，这种转变幅度还是很大。
在这种新的架构中，内存控制器和CPU之间的数据存储关系会有一些变化。当CPU向内存控制器发出数据请求时，CPu也会同时向后者发出一个预取类型的请求，这个请求会更早地抵达内存控制器。此时，正常的数据请求命令会通过监听过滤器，开始向交叉主节点传输，然后交叉节点会将请求命令路由给内存控制器。由于预取的指令更为快捷，因此内存控制器将提前获取请求即将到来并且有可能开始准备数据，从而隐藏部分存储器延迟，而不是以串行的方式一步步获取数据，这将带来更高的延迟。预取设计方案将显著影响系统性能，优秀的处理器设计方案会智能管理数据预取，以优化系统级带宽。 在具有64个核心和8个DDR-3200内存通道的Neoverse N1参考系统中，其实现了高达175GB/s的DRAM带宽。在LMBench测试结果的对比中，Corrtex-A72的延迟为110ns，Neoverse N1只有83ns，这个测试配置7256MB深度测试和2MB的大页面缓存。大页面的选择减少了TLB未命中并且更接近实际的内存延迟，因此这个测试数据只代表某些情况下的延迟信息。与此类似的是AMD的EPYC 7610。采用LRDIMM DDR4-266619-19-19，相似场景的测试成绩显示延迟大约为73ns，DRAM负载应用大约为57ns。英特尔的W-3175X，采用RDIMM DDR-2666 24-19-19，相似场景下的测试大约为94ns和64ns。当然这里的测试无法和ARM的相关测试直接比较，但是了解一下延迟数量级和相对的场景，就能大概判断ARM的设计处于一个什么层次。
另外一点是工艺和具体的实现，ARM给出了一些参考值，单Neoverse N1核心，所用工艺全部是TSMC 7nm的情况下，当采用512KB L2配置方案的时候，裸片尺寸为1.2平方毫米，和Cortex-A76基本相当，后者为1.26平方毫米。当L2缓存提升至1MB时，每个内核占位面积会提升至1.4平方毫米，面积依旧很小。
最后来看看频率，ARM的预期是2.6GHz到3.1GHz，其中前者是0.75V电压时所能实现的频率，后者则采用71V驱动。值得注意的是，频率提高19%会带来44%的功耗提升，因此实际应用中会仔细调教，使得频率尽可能接近功率曲线的极值。功耗方面，单核心依旧只有lW到1.8W。如此低的功耗为64核心的实现提供了充足的功率空间，64核心Neoverse N1自勺参考功耗仅为105W，随后本文还会进一步讨论这个问题。
采用Neoverse N1架构的超大规模处理器参考设计
之所以在一开始提到平台有关内容，是因为ARM提供了一整套方案，包括超大规模处理器的参考设计方案，这在之前是从未出现过的。面对实际应用，ARM提供了三种选择，一种就是本节需要详细叙述的超大规模处理器方案，另外两种分别是边缘计算方案和另一种核心，也就是本文另一个主角Neoverse E1的边缘设计方案。那么先来看第一个。
Neoverse N1的超大规模方案有64核心和128核心两种配置，分别继承了64MB或者128MB的SLC缓存，采用的是CMN-600网状总线实现，这个配置还提供T128个通道可以用于PCI-E4.0或者CCIx接口用于提供足够的I/O带宽。内存控制器方面，ARM选择的是8通道DDR4 3200方案。ARM实际上已经放弃了内存控制器的开发，因为客户一般都会拥有自己的内部设计，或者从第三方供应商中选择成熟IP。对于目前的参考设计而言，ARM给出的方案采用了DMC-520，如果未来使用更新的DDR5内存的话，可能又将引入第三方供应商了。
在具体的核心架构排布方面，ARM采用的是可复制的分层构建方案。具体来说，最基本的单元就是前文叙述过的CPU区块，每个CPU区块中包含T2个CPu内核和一个SLC缓存、CMN交叉节点和组节点的一部分构成。这个CPU区域可以通过不断的复制生成一个超级区域，超级区域中还加入了部分I/0单元和内存控制器。然后超级區域通过不断的镜像复制或者翻转复制，形成了一个CPU的Top级别的Mesh网络系统，完成了整个超大规模处理器的构建。
这种基于Mesh的构建方法的一个显著特色就是它可伸缩性能非常好。用户可以根据情况来选择配备核心数量，或者在其它情况下选择处理器的搭配方案。举例来说，当生产制造对面积较大的晶圆不够友好时，比如64核心的处理器面积接近400平方毫米，此时厂商可以通过生产多个小芯片，再通过CCIX链路将这些小芯片连接在一起的方法实现处理器规模的扩展。当然，究竟如何做最终还是取决于应用人员和具体使用环境。另外，SmartNIC集成功能也是设计的重要方面，这个功能是实现最大化系统规模、加速网络和实现高效吞吐的关键。
总线上的一些功能也有助于类处理器的实现，比如CMN-600的总线交叉端口上的MMU连接速度高达128GB/s，因此，附加固定功能的硬件单元将非常容易。此外，CCIX的出现也使得ARM能够轻松组合第三方IP.为外部IP启用高速缓存一致性是非常有吸引力的，因为它能够大大简化供应商的软件设计。高速缓存一致性意味着软件需要面对的就是一个巨大的内存块，而不是非一致性下相关系统需要集成驱动程序并且跟踪内存数据才能判断哪个部分是有效的，这无疑大幅度降低了效率。
目前xilinx将成为首批在2019年第三季度推出支持CCIX的中端产品供应商之一，由于AMD也采用CCIX，因此第三方加速器的潜力非常巨大，可能出现之前完全不曾出现的搭配方案，令人充满期待。
虽然这是面向高性能计算的产品，但是相应的功耗控制和电源管理还是能带来效能的提升。ARM在设计时加入了专用的微控制器，能够提供极细粒度的DVFS机制从而实现对频率和电源的控制。有这个设计以后，供应商在电源方面就可以采用比较宽泛的方案，从而节约成本。
性能指标：超越，继续超越
在拥有如此规模后，我们自然对这款处理器能达到怎样的性能充满了兴趣。ARM首先展示了和相同频率Cortex-A72处理器的性能对比，Neoverse N1在性能上实现了对前代处理器大幅度的超越。在单线程性能中，整数工作负载的每时钟性能大约是前代产品的1.7倍和1.6倍，浮点性能则大幅度提升至Cortex-A72的2.2信和2倍。这里的数据来自于建模和仿真估计，考虑到软件方面的改进，实际数值可能还会更高。计算n生能方面，Neoverse N1的矢量工作负载是Cortex-A72的2.2信，机器学习性能则达到了接近5倍，也就是4.7倍的数值。值得注意的是，Neove rse N1所采用的ARIv8.2 ISA意味着它支持8位点计算和半精度浮点指令，这些指令特别适合机器学习，因此性能能到巨大.的提升。 除了一些倍数上的比较外，ARM还给出了一些具体数字。比如2.6GHz，64核心的Neoverse N1处理器，ARM给出的SPECint2006单线程性能是37，多线程性能是1310，TDP功耗为105W，需要注意的是，这里的数据并不是实际运行SPECint2006而得来的，这是在带有RTL仿真环境中的ARM服务器上估算而得到的数据。
除了硬件外，ARM还给出了一些软件性能提升，尤其是编译器。在过去的几年，ARM花费了大量的精力在开源工具和编译器上，比如GCC，最新的GCC9和之前老的GCC5相比，整数和浮点l生能的改进大约为13%-15%，值得注意的是，这里的改进是实际的改进，并不是测试成绩的分数。
总的来看，ARM的新处理器在性能上的提升是非常巨大的，再加上多核心方面的优化，这有助于ARM在服务器市场实现自己的目标。
用于数据平面的小型STM核心：Neoverse E1
除了Neoverse N1外，ARM还发布了一个相对轻量的处理器核心，称作Neoverse E1。从研发关系上来看，Neoverse E1实际上来自于Cortex-A65AE的深度改进，后者是一款定位于Cortex-A76AE之下的面向自动驾驶市场的处理器核心，因此两者架构存在不少相似点。从定位上来看，NeoverseE1更注重高效性和经济性。
SMT上阵：小而美的核心
很多人对SMT的认知来自英特尔超线程技术，其主要目的在于改善大型处理器的后端资源利用率，但SMT对小型处理器依旧有意义。一般来說，处理器在数据处理中，缓存未命中将主导处理器的工作周期。这是因为数据并没有在处理器核心中停留很长时间。无论是在之前Cortex-A65AE的相关用例中描述的流式传输，还是在处理器工作负载的情况下，网络数据传输的情况，都反映了处理器必须面对存储器的访问延迟，这才是引发CPU管线停顿的原因。
Neoverse E1处理器是一种带有SMT的小型乱序设计方案。在数据平面繁重的工作负载中，引入处理器内核上的辅助线程实际上代表了微架构几乎可实现免费的吞吐量增益，因为在这种情况下，微架构可以填充更多的执行周期。在最佳工作负载中，除了Neoverse E1本身微架构所能带来的性能增益外，SMT甚至可能会带来吞吐量翻倍。在集群级别，NeoverseE1的配置选项和之前DynamIQ系统中可以部署的配置非常相似，集群看起来像DSU，拥有最多8个内核，还包括侦听过滤器以及4MB的L3缓存等。
Neoverse E1的管线设计
Neoverse E1采用了全新的设计方案，它更像是基于顺序执行的C0rtex-A55微架构、通过深度调整而设计的小型乱序执行微架构。乱序执行是处理器非常重要的能力之一，它能够避免负载周期很长的情况下停止整个流水线，从而使得核心能够拥有更多的数据吞吐量大幅度提升。
Neoverse E1的指令获取、解码和分派单元都采用了双发射设计，乱序窗口则设计了一个40深度的ROB。后端则和cortex-A55一样采用了类似的执行单元方案和布局。不过NeoverseE1的整数AIU采用了不同的分区，一个用于简单的算术运算，另一个则接管了整数乘法和除法。Neoverse E1的SIMD和NEO流水线和Cortex-A55几乎完全一样，不过ARM还是有可能改动一些指令循环以提高性能。
在SMT功能方面，Neoverse E1的SMT加倍了部分核心资源，这意味着CPU具有2信的通用、矢量和系统寄存器。在软件级别，这样的设计自然是作为2个独立的CPU核心呈现，可以执行不同任务，处于不同的级别甚至执行不同的操作系统。
处理器前端，Neoverse E1带来了一些显著的改进，主要是分支预测和预取机制。近期ARM在其乱序执行架构上都采用了类似的改进。后端方面，前文提到了改进不大，实际上ARM在延迟方面做出了一些新的设计，比如FMAC的延迟减半、整数除法单元变成了Radix-16单元，还支持ARMv8.2所要求的双吞吐模式的FPl6指令和int8点积等。
内存子系统方面和Cortex-A55则更为相似了，唯一质的变化的是数据预取器和L2 TLB为了配合SMT加入了多线程感知，并进行了一些设计上的优化。一些具体的数据包括，4-way的32KB或者64KB L1数据缓存，L2缓存可配置为64KB到256KB不等。L1延迟为2个周期，L2从读取到使用为6个周期。
性能：更小、更强
Neoverse E1是从cortex-A55这样的小心核心改进而来的产品，因此核心面积非常小，性能功耗比非常高。在7nm工艺下、32KB L1和128KBL2的配置方案下，Neoverse E1的CPu内核面积仅为0.46平方毫米，主频可达2 5GHz同时功耗仅有183mW。其中最令人意外的是时钟频率，如此高的频率显示Neoverse E1在内核架构上做出的改进。
在ARM的设想中，Neoverse E1这样的处理器将用于对功耗敏感的边缘应用中。在一些低端设备中，拥有8-16个核心的Neoverse E1处理器将用于无线接入或者网关数据计算，提供10-25Gbps的数据吞吐量。更高一些的层级上，可能会有16-32核心的Neoverse E1处理器用在诸如边缘数据聚合等场景，实现1006bps的数据吞吐。
ARM给出了可能是市场上最受欢迎的16核心Neoverse E1的设计参考方案，依旧采用了CMN-600的2X4网络配置，其中集成T8个核心，另外还允许自选系统缓存以及配置额外的第三方加速核心。内存方面配置方案是双通道DDR4。
性能和功耗方面，根据ARM的数据，类似配置的Neoverse E1的SoC功耗不高于15W，CPU内核的实际功率不高于4W，SPECinte_rate2006成绩大约为153分，系统吞吐能力大约为25Gb/s（仅为软件层启动，未使用硬件加速），处理器的性能还是相当值得期待的。同之前的Cortex-A53或者Cortex-A55相比，Neoverse E1的吞吐量也有显著优势，这些都意味着效率的大幅度提升。
ARM展示Neoverse N1芯片和开发平台
ARM也给出了有关Neoverse N1的开发平台。在发布会上，ARM还回顾了自己帮助开发人员的一些历史，包括cortex-A57、Cortex-A72等产品都推出了相应的开发平台，并且一共向合作伙伴提供了大约1400张开发板用于各种设计验证。一般来说，这种开发版的芯片产量较低，往往使用MPW技术实现，即使如此，芯片生产和制造的成本也会由于较低的数量而变得很高，投入往往非常巨大。
ARM在2018年12月收到了首个可用的Neoverse N1的芯片，并提供了一整套SDP系统开发平台方案。这不但是ARM首个7nm工艺的芯片，还附带了大量的第三方知识产权，包括PCIe以及DDR内存控制器等。
ARM展示了这款开发平台的大量信息。包括一个四核心的NeoverseN1处理器，1MBL2配置，采用2XMP2的方案，CMN-600总线连接等。此外还包含一个PCIe 4.0 x16插槽，支持高速缓存一致性等关键特性。
ARM：生态系统加强
从ARM对于Neoverse N1和Neoverse E1的研发和推进不难看出，它希望通过有技术含量、性能出色的产品以及更为完整、易用的研发平台，来吸引更多行业内用户的注意，从而进一步拓宽自己的市场空间。
从技术上来看，Neoverse N1性能出色、扩展能力强悍并且能耗比表现非常出色，ARM认为它有希望从英特尔、AMD掌控的高端服务器市场中抢走一部分份额，尤其是那些对多核心要求更多的场合。对Neoverse E1而言，ARM瞄准的是不断扩大的高吞吐处理器市场，包括即将到来的5G市场等，这相当于是为这些应用场合专门定制了一款高性能功耗比的处理器产品。
除了强悍的处理器外，ARM本次更为注重生态环境的建设了。无论是和业内其他供应商联合打包IP的方案，还是自己提供了大量的开发板和相关技术指南，ARM都在努力构建一个更为容易接触和更为开放的产业环境。考虑到ARM的新产品在未来12～18个月内就要进行商业部署了，我们应该能够在1-2年的时间看到这些变化，拥抱开放和生态，行业也应该给出更为积极的反馈。
在移动计算市场拥有领先地位的ARM，却一直在桌面计算、服务器等对性能要求更高的市场中表现不佳。诚然在过去数年中，ARM不止一次对高性能领域发起冲击，但结果并不理想。回头来看，ARM主要缺乏的是一整套生态系统来适应不同场合下的计算需求。为了解决这个问题，ARM计划设计一整套计算平台，它能够通过大幅提高ARM产品的性能从而获得进入新市场的能力。
在近期的发布会上，ARM推出了2个全新平台——Neoverse N1和Neoverse E1，这两个平台将成为未来几年ARM Ares计算平台的核心。所谓计算平台是一种全新的提法，目前ARM规划的以Cortex-A76为核心一整套产品被称为Cosmos平台，工艺采用14/16nm，2019年将进化至Ares平台，工艺提升至7nm。2020年有zeus平台，工艺提升到7/5nm ，2021年的Poseidon器。平台包含处理器、总线、多核心系统等。Neoverse N1和相对应的处理器代表了ARM首款专为服务器和基础设施市场设计的专用IP，这是对过去ARM在运营IP方案上的重大改变——消费市场和行业解决方案分离，面向消费市场以Cortex为主，面向行业客户则由Neoverse披挂上阵。平台将采用5nm工艺制造。今天我们的重点是Ares平台。
Neoverse N1面向高性能设备，它是平台名称，与之对应的CPU核心架构名称也一样——Neoverse N1处理
Neoverse N1处理器浅析
首款Neoverse N1处理器的架构和Cortex-A76都是由ARM位于奥斯汀的设计团队所主导，因此它们在内核设计上存在一定相似之处。这一部分本文不再赘述，而将重点放在对Neoverse
N1创新设计方面的介绍。
在Neoverse N1的设计目标上，ARM想让它成为一个高性能架构，并拥有未来数年可重复使用的基础。ARM将在这代处理器中重新调校微架构，使其能够以最高频率运行。在这—点上，ARM与AMD、英特尔的路线不同，后两家面向高性能平台的产品受制于功耗、面积等因素，频率相比消费级产品更低，但是在ARM的设计中却是相反的，处理器频率可能更高。
Neoverse N1處理器的架构采用74发射读取/解码设计，流水线深度只有11级，ARM将其称为“手风琴”管道。这种设计的特点是根据不同指令，流水线深度可以在运行延迟敏感型指令的时候将长度减少至9个阶段，其中第二预测阶段能够和第一预测阶段重合，并且调度阶段能够和第一个发布阶段重叠。执行后端有2个简单AIU，一个复杂的AIU用于计算乘法和除法，两个全宽的128bit SIMD流水线用于处理矢量和浮点计算。在数据吞吐能力方面，ARM依旧设计了2个128位的加载/存储单元，能够维持足够的带宽来满足流水线的需求。在前端，Neoverse N1拥有大型的低延迟L1和L2。ARM还采用分支预测设计和方向预测缓冲器，使得处理器不仅仅通过宽核心来提高性能，还可以通过最高效率的最小分支化和缓存的高效率来达到这个目的。在这些方面，它与Cortex-A76很类似。
Neoverse N1当然有着一些独特设计，比如缓存设计上。它的L1数据缓存和指令缓存部分都是64KB、4-way设计，其中最重要的改变是整个缓存完全采用了一致性设计，它大幅度简化了虚拟环境的实现并且极大地提高了性能。而且这一设计对ARM在超大规模计算中保持竞争力也是必须的，因为这可以很方便地扩展核心数量。ARM宣称Neoverse N1处理器的架构可以应对核心数量超过16个的处理器设计方案，并具有良好的扩展l生。L2缓存方面，ARM提供了512KB或者1MB两种选项。512KB的配置方案和传统的Cortex-A76配置方案相当，而1MB缓存主要针对基础架构领域中对存储空间较为敏感的应用。需要注意的是，将缓存增加到1MB并不是没有代价的，这种配置中缓存的延迟会提升2个周期，从而带来一定程度的性能下降，考虑流水线延迟，使用这种配置方案时最大延迟可能会达到11个周期。
Neoverse N1和Cortex家族的根本差异来自于内存方案，前者采用网状Mesh连接，而不是直接连接至CPu集群。这一点在cMN-600的网状连接中已经有体现。这种连接首先通过CAI或者组件聚合层进行，每个CAI最多支持2个连接接口，这就是为什么ARM会为每个“集群”配置2个CPU核心（实际上并不是一个集群，只是为了满足连接端口的需求）。然后CAI会连接到网络的交叉点，它基本上是由网络的交换机或者路由器构成。每个交叉点都有2个端口可用，A一个端口用于连接别的交叉点，剩余一个端口用于连接系统级高速缓存，也就是SLC。在64核心、32个区块（每个区块有2个CPu核心和具有2MB SLC）的系统中，整个64MB缓存的平均负载使用延迟为22ns。ARM以秒而不是常见的周期来显示延迟的原因主要是因为SLC和通讯网络运行在不同的时钟频率下，这个频率通常为核心的2/3，和核心处于异步运行的状态。
从Neoverse N1在核心连接架构上所体现出的功能来看，直接连接是新架构或者CMN-600总线所带来的不可或缺的设计，这在之前的处理器上从未出现过。直连设计删除了之前DSU上所有的通讯逻辑，转而采用CPU核心直接连接到CMN的CHI接口。因此，存储控制器和CPU之间也需要经过网状网络，而不是直连，这在桌面超多核心的设计中是比较常见的内容。考虑到ARM移动处理器背景，这种转变幅度还是很大。
在这种新的架构中，内存控制器和CPU之间的数据存储关系会有一些变化。当CPU向内存控制器发出数据请求时，CPu也会同时向后者发出一个预取类型的请求，这个请求会更早地抵达内存控制器。此时，正常的数据请求命令会通过监听过滤器，开始向交叉主节点传输，然后交叉节点会将请求命令路由给内存控制器。由于预取的指令更为快捷，因此内存控制器将提前获取请求即将到来并且有可能开始准备数据，从而隐藏部分存储器延迟，而不是以串行的方式一步步获取数据，这将带来更高的延迟。预取设计方案将显著影响系统性能，优秀的处理器设计方案会智能管理数据预取，以优化系统级带宽。 在具有64个核心和8个DDR-3200内存通道的Neoverse N1参考系统中，其实现了高达175GB/s的DRAM带宽。在LMBench测试结果的对比中，Corrtex-A72的延迟为110ns，Neoverse N1只有83ns，这个测试配置7256MB深度测试和2MB的大页面缓存。大页面的选择减少了TLB未命中并且更接近实际的内存延迟，因此这个测试数据只代表某些情况下的延迟信息。与此类似的是AMD的EPYC 7610。采用LRDIMM DDR4-266619-19-19，相似场景的测试成绩显示延迟大约为73ns，DRAM负载应用大约为57ns。英特尔的W-3175X，采用RDIMM DDR-2666 24-19-19，相似场景下的测试大约为94ns和64ns。当然这里的测试无法和ARM的相关测试直接比较，但是了解一下延迟数量级和相对的场景，就能大概判断ARM的设计处于一个什么层次。
另外一点是工艺和具体的实现，ARM给出了一些参考值，单Neoverse N1核心，所用工艺全部是TSMC 7nm的情况下，当采用512KB L2配置方案的时候，裸片尺寸为1.2平方毫米，和Cortex-A76基本相当，后者为1.26平方毫米。当L2缓存提升至1MB时，每个内核占位面积会提升至1.4平方毫米，面积依旧很小。
最后来看看频率，ARM的预期是2.6GHz到3.1GHz，其中前者是0.75V电压时所能实现的频率，后者则采用71V驱动。值得注意的是，频率提高19%会带来44%的功耗提升，因此实际应用中会仔细调教，使得频率尽可能接近功率曲线的极值。功耗方面，单核心依旧只有lW到1.8W。如此低的功耗为64核心的实现提供了充足的功率空间，64核心Neoverse N1自勺参考功耗仅为105W，随后本文还会进一步讨论这个问题。
采用Neoverse N1架构的超大规模处理器参考设计
之所以在一开始提到平台有关内容，是因为ARM提供了一整套方案，包括超大规模处理器的参考设计方案，这在之前是从未出现过的。面对实际应用，ARM提供了三种选择，一种就是本节需要详细叙述的超大规模处理器方案，另外两种分别是边缘计算方案和另一种核心，也就是本文另一个主角Neoverse E1的边缘设计方案。那么先来看第一个。
Neoverse N1的超大规模方案有64核心和128核心两种配置，分别继承了64MB或者128MB的SLC缓存，采用的是CMN-600网状总线实现，这个配置还提供T128个通道可以用于PCI-E4.0或者CCIx接口用于提供足够的I/O带宽。内存控制器方面，ARM选择的是8通道DDR4 3200方案。ARM实际上已经放弃了内存控制器的开发，因为客户一般都会拥有自己的内部设计，或者从第三方供应商中选择成熟IP。对于目前的参考设计而言，ARM给出的方案采用了DMC-520，如果未来使用更新的DDR5内存的话，可能又将引入第三方供应商了。
在具体的核心架构排布方面，ARM采用的是可复制的分层构建方案。具体来说，最基本的单元就是前文叙述过的CPU区块，每个CPU区块中包含T2个CPu内核和一个SLC缓存、CMN交叉节点和组节点的一部分构成。这个CPU区域可以通过不断的复制生成一个超级区域，超级区域中还加入了部分I/0单元和内存控制器。然后超级區域通过不断的镜像复制或者翻转复制，形成了一个CPU的Top级别的Mesh网络系统，完成了整个超大规模处理器的构建。
这种基于Mesh的构建方法的一个显著特色就是它可伸缩性能非常好。用户可以根据情况来选择配备核心数量，或者在其它情况下选择处理器的搭配方案。举例来说，当生产制造对面积较大的晶圆不够友好时，比如64核心的处理器面积接近400平方毫米，此时厂商可以通过生产多个小芯片，再通过CCIX链路将这些小芯片连接在一起的方法实现处理器规模的扩展。当然，究竟如何做最终还是取决于应用人员和具体使用环境。另外，SmartNIC集成功能也是设计的重要方面，这个功能是实现最大化系统规模、加速网络和实现高效吞吐的关键。
总线上的一些功能也有助于类处理器的实现，比如CMN-600的总线交叉端口上的MMU连接速度高达128GB/s，因此，附加固定功能的硬件单元将非常容易。此外，CCIX的出现也使得ARM能够轻松组合第三方IP.为外部IP启用高速缓存一致性是非常有吸引力的，因为它能够大大简化供应商的软件设计。高速缓存一致性意味着软件需要面对的就是一个巨大的内存块，而不是非一致性下相关系统需要集成驱动程序并且跟踪内存数据才能判断哪个部分是有效的，这无疑大幅度降低了效率。
目前xilinx将成为首批在2019年第三季度推出支持CCIX的中端产品供应商之一，由于AMD也采用CCIX，因此第三方加速器的潜力非常巨大，可能出现之前完全不曾出现的搭配方案，令人充满期待。
虽然这是面向高性能计算的产品，但是相应的功耗控制和电源管理还是能带来效能的提升。ARM在设计时加入了专用的微控制器，能够提供极细粒度的DVFS机制从而实现对频率和电源的控制。有这个设计以后，供应商在电源方面就可以采用比较宽泛的方案，从而节约成本。
性能指标：超越，继续超越
在拥有如此规模后，我们自然对这款处理器能达到怎样的性能充满了兴趣。ARM首先展示了和相同频率Cortex-A72处理器的性能对比，Neoverse N1在性能上实现了对前代处理器大幅度的超越。在单线程性能中，整数工作负载的每时钟性能大约是前代产品的1.7倍和1.6倍，浮点性能则大幅度提升至Cortex-A72的2.2信和2倍。这里的数据来自于建模和仿真估计，考虑到软件方面的改进，实际数值可能还会更高。计算n生能方面，Neoverse N1的矢量工作负载是Cortex-A72的2.2信，机器学习性能则达到了接近5倍，也就是4.7倍的数值。值得注意的是，Neove rse N1所采用的ARIv8.2 ISA意味着它支持8位点计算和半精度浮点指令，这些指令特别适合机器学习，因此性能能到巨大.的提升。 除了一些倍数上的比较外，ARM还给出了一些具体数字。比如2.6GHz，64核心的Neoverse N1处理器，ARM给出的SPECint2006单线程性能是37，多线程性能是1310，TDP功耗为105W，需要注意的是，这里的数据并不是实际运行SPECint2006而得来的，这是在带有RTL仿真环境中的ARM服务器上估算而得到的数据。
除了硬件外，ARM还给出了一些软件性能提升，尤其是编译器。在过去的几年，ARM花费了大量的精力在开源工具和编译器上，比如GCC，最新的GCC9和之前老的GCC5相比，整数和浮点l生能的改进大约为13%-15%，值得注意的是，这里的改进是实际的改进，并不是测试成绩的分数。
总的来看，ARM的新处理器在性能上的提升是非常巨大的，再加上多核心方面的优化，这有助于ARM在服务器市场实现自己的目标。
用于数据平面的小型STM核心：Neoverse E1
除了Neoverse N1外，ARM还发布了一个相对轻量的处理器核心，称作Neoverse E1。从研发关系上来看，Neoverse E1实际上来自于Cortex-A65AE的深度改进，后者是一款定位于Cortex-A76AE之下的面向自动驾驶市场的处理器核心，因此两者架构存在不少相似点。从定位上来看，NeoverseE1更注重高效性和经济性。
SMT上阵：小而美的核心
很多人对SMT的认知来自英特尔超线程技术，其主要目的在于改善大型处理器的后端资源利用率，但SMT对小型处理器依旧有意义。一般来說，处理器在数据处理中，缓存未命中将主导处理器的工作周期。这是因为数据并没有在处理器核心中停留很长时间。无论是在之前Cortex-A65AE的相关用例中描述的流式传输，还是在处理器工作负载的情况下，网络数据传输的情况，都反映了处理器必须面对存储器的访问延迟，这才是引发CPU管线停顿的原因。
Neoverse E1处理器是一种带有SMT的小型乱序设计方案。在数据平面繁重的工作负载中，引入处理器内核上的辅助线程实际上代表了微架构几乎可实现免费的吞吐量增益，因为在这种情况下，微架构可以填充更多的执行周期。在最佳工作负载中，除了Neoverse E1本身微架构所能带来的性能增益外，SMT甚至可能会带来吞吐量翻倍。在集群级别，NeoverseE1的配置选项和之前DynamIQ系统中可以部署的配置非常相似，集群看起来像DSU，拥有最多8个内核，还包括侦听过滤器以及4MB的L3缓存等。
Neoverse E1的管线设计
Neoverse E1采用了全新的设计方案，它更像是基于顺序执行的C0rtex-A55微架构、通过深度调整而设计的小型乱序执行微架构。乱序执行是处理器非常重要的能力之一，它能够避免负载周期很长的情况下停止整个流水线，从而使得核心能够拥有更多的数据吞吐量大幅度提升。
Neoverse E1的指令获取、解码和分派单元都采用了双发射设计，乱序窗口则设计了一个40深度的ROB。后端则和cortex-A55一样采用了类似的执行单元方案和布局。不过NeoverseE1的整数AIU采用了不同的分区，一个用于简单的算术运算，另一个则接管了整数乘法和除法。Neoverse E1的SIMD和NEO流水线和Cortex-A55几乎完全一样，不过ARM还是有可能改动一些指令循环以提高性能。
在SMT功能方面，Neoverse E1的SMT加倍了部分核心资源，这意味着CPU具有2信的通用、矢量和系统寄存器。在软件级别，这样的设计自然是作为2个独立的CPU核心呈现，可以执行不同任务，处于不同的级别甚至执行不同的操作系统。
处理器前端，Neoverse E1带来了一些显著的改进，主要是分支预测和预取机制。近期ARM在其乱序执行架构上都采用了类似的改进。后端方面，前文提到了改进不大，实际上ARM在延迟方面做出了一些新的设计，比如FMAC的延迟减半、整数除法单元变成了Radix-16单元，还支持ARMv8.2所要求的双吞吐模式的FPl6指令和int8点积等。
内存子系统方面和Cortex-A55则更为相似了，唯一质的变化的是数据预取器和L2 TLB为了配合SMT加入了多线程感知，并进行了一些设计上的优化。一些具体的数据包括，4-way的32KB或者64KB L1数据缓存，L2缓存可配置为64KB到256KB不等。L1延迟为2个周期，L2从读取到使用为6个周期。
性能：更小、更强
Neoverse E1是从cortex-A55这样的小心核心改进而来的产品，因此核心面积非常小，性能功耗比非常高。在7nm工艺下、32KB L1和128KBL2的配置方案下，Neoverse E1的CPu内核面积仅为0.46平方毫米，主频可达2 5GHz同时功耗仅有183mW。其中最令人意外的是时钟频率，如此高的频率显示Neoverse E1在内核架构上做出的改进。
在ARM的设想中，Neoverse E1这样的处理器将用于对功耗敏感的边缘应用中。在一些低端设备中，拥有8-16个核心的Neoverse E1处理器将用于无线接入或者网关数据计算，提供10-25Gbps的数据吞吐量。更高一些的层级上，可能会有16-32核心的Neoverse E1处理器用在诸如边缘数据聚合等场景，实现1006bps的数据吞吐。
ARM给出了可能是市场上最受欢迎的16核心Neoverse E1的设计参考方案，依旧采用了CMN-600的2X4网络配置，其中集成T8个核心，另外还允许自选系统缓存以及配置额外的第三方加速核心。内存方面配置方案是双通道DDR4。
性能和功耗方面，根据ARM的数据，类似配置的Neoverse E1的SoC功耗不高于15W，CPU内核的实际功率不高于4W，SPECinte_rate2006成绩大约为153分，系统吞吐能力大约为25Gb/s（仅为软件层启动，未使用硬件加速），处理器的性能还是相当值得期待的。同之前的Cortex-A53或者Cortex-A55相比，Neoverse E1的吞吐量也有显著优势，这些都意味着效率的大幅度提升。
ARM展示Neoverse N1芯片和开发平台
ARM也给出了有关Neoverse N1的开发平台。在发布会上，ARM还回顾了自己帮助开发人员的一些历史，包括cortex-A57、Cortex-A72等产品都推出了相应的开发平台，并且一共向合作伙伴提供了大约1400张开发板用于各种设计验证。一般来说，这种开发版的芯片产量较低，往往使用MPW技术实现，即使如此，芯片生产和制造的成本也会由于较低的数量而变得很高，投入往往非常巨大。
ARM在2018年12月收到了首个可用的Neoverse N1的芯片，并提供了一整套SDP系统开发平台方案。这不但是ARM首个7nm工艺的芯片，还附带了大量的第三方知识产权，包括PCIe以及DDR内存控制器等。
ARM展示了这款开发平台的大量信息。包括一个四核心的NeoverseN1处理器，1MBL2配置，采用2XMP2的方案，CMN-600总线连接等。此外还包含一个PCIe 4.0 x16插槽，支持高速缓存一致性等关键特性。
ARM：生态系统加强
从ARM对于Neoverse N1和Neoverse E1的研发和推进不难看出，它希望通过有技术含量、性能出色的产品以及更为完整、易用的研发平台，来吸引更多行业内用户的注意，从而进一步拓宽自己的市场空间。
从技术上来看，Neoverse N1性能出色、扩展能力强悍并且能耗比表现非常出色，ARM认为它有希望从英特尔、AMD掌控的高端服务器市场中抢走一部分份额，尤其是那些对多核心要求更多的场合。对Neoverse E1而言，ARM瞄准的是不断扩大的高吞吐处理器市场，包括即将到来的5G市场等，这相当于是为这些应用场合专门定制了一款高性能功耗比的处理器产品。
除了强悍的处理器外，ARM本次更为注重生态环境的建设了。无论是和业内其他供应商联合打包IP的方案，还是自己提供了大量的开发板和相关技术指南，ARM都在努力构建一个更为容易接触和更为开放的产业环境。考虑到ARM的新产品在未来12～18个月内就要进行商业部署了，我们应该能够在1-2年的时间看到这些变化，拥抱开放和生态，行业也应该给出更为积极的反馈。