论文部分内容阅读
市场分析公司Vanson Bourne 针对最大化应用性能做过一项调查，结果显示，如果网页的响应时间超过3秒，那么40%的用户会放弃进入该网站，这可能给网站带来巨大的经济损失。云计算、大数据、移动互联等技术的迅猛发展，让用户不能忍受任何等待。点击网站，要迅速得到回应；数据分析，结果要实时呈现；高性能计算不再是“阳春白雪”，而是可以在更多行业、为更多类型的用户服务。
上述应用场景的变化也折射出高性能计算技术的发展和变迁。“计算不再是以CPU为核心。协同设计理念兴起，软件、硬件甚至整个系统的协同设计，可以突破多核计算的性能瓶颈。”Mellanox公司全球市场部副总裁Gilad Shainer表示。
怎么才能更快地吃上披萨？
在协同设计的环境中，CPU不是唯一的核心，只是计算的单元之一，存储、网络也可以拥有强大的计算能力，分担CPU的计算压力，从而构成一个协同的计算整体。
现在，不仅数据量呈爆炸性增长，而且用户要求数据的处理速度越快越好，最好能实时处理。
让数据尽量靠近CPU，这是提升数据处理速度的一种思路，但是在数据量非常大，而且分散在不同地方的应用场景中，让数据靠近CPU实现起来成本较高，而且数据的产生和传输都需要时间，将数据向CPU移动的过程本身就是在浪费时间，对于提升响应速度不利。
“如果在将数据向CPU移动的过程中，在网络中就完成相关的数据计算和处理，那么数据到达CPU之前，相关的计算已经执行完毕，既可以减轻CPU的负担，又可以提升整体的处理效率，缩短响应时间。”Gilad Shainer介绍说，“在网络中完成数据的计算，每一个网络交换机上的网卡就是一个协处理器。”
为了更好地解释什么是协同设计，Gilad Shainer举了披萨饼的制作和送货上门的例子。按照传统的制作方式，披萨饼店接受订单后，先准备饼皮、馅料，然后烤制披萨饼，最后通过快递将披萨饼送到客户家中。这就像是以CPU为核心的计算过程。
如果想让客户更快地尝到披萨饼，可以让员工加快披萨饼的制作速度，或招聘更多的员工，这就像是提升CPU的主频，或采用多核计算的方式。但是，员工个人的工作效率不可能无限提升，员工的数量也不可能无限增加，这就形成了一个难以逾越的瓶颈，这与以CPU为核心的计算方式遇到的瓶颈类似。
即使在点餐的高峰期，也要保证每个客户都能在最短的时间内吃到披萨饼，有什么好办法吗？
“当然有。”Gilad Shainer说，“如果快递员的货车上就载着可以烤制披萨饼的烤炉，那么货车可以边行进边烤制披萨饼，货车到达客户家，正好披萨饼也烤制完成，效率大大提升。这就像是协同设计，虽然CPU还在，不过它的主要工作是接受订单，配制好原材料，而披萨饼的烤制工作不在店里完成，而是在送货车上完成，就像部分数据的计算由网络完成，而不是非要由CPU完成。”
CPU不是唯一的核心
协同设计就是要发挥整个系统中每一个组件，包括CPU、存储、网络的计算潜能，从整体上，而不是从CPU这个局部来提升效率。让网络完成一部分计算工作。Mellanox公司认为，这是提升效率的一种有效途径。
CPU厂商考虑问题的角度是，目前CPU的资源和能力还没有得到充分利用，那么这些多余的资源和能力就可以用来解决网络传输或其他方面的问题。不过，Gilad Shainer质疑，如果CPU的能力没有得到全面施展，那么用户就不应该购买那么多的CPU，构建多核的计算架构，那是一种过渡配置，是浪费。
作为网络厂商，Mellanox一方面与CPU厂商合作，共同为客户提供包含CPU、网络在内的整体解决方案；另一方面，Mellanox的创新之处在于，它的网络产品可以当成协处理器使用，通过卸载这种技术，完成力所能及的计算工作，减轻CPU的负担，同时提升数据处理的速度。
Mellanox之所以能够胜任协同设计，主要源于它一直采用卸载这种技术。过去，卸载与加载（Onloading）之间的争论主要集中在CPU效率方面。研发出一项基于卸载架构的互连技术的难度和复杂度都不容小觑，但其回报也不菲——它能够让CPU从网络管理中脱身，轻松提升40%～50%的CPU与系统利用率。
相反，基于加载架构的互连技术的开发相对简单，只不过是一个简单的通道，所有的网络操作仍然由CPU来管理和执行，从应用的角度来看，最多可能有一半的CPU资源被浪费了。
“我们一直采用卸载技术，只不过最初只是用于网络传输等功能。现在，在协同设计的环境中，我们将更多的算法等卸载到网络芯片上，将原来由CPU进行的处理工作移到了网络中。”Gilad Shainer介绍说。
基于任务卸载的架构能够让像RDMA（远程内存直接访问）这样的技术变得可用，而这是在加载架构中无法实现的。基于任务卸载的架构不仅拥有更好的性价比优势，关键是可以突破系统的性能瓶颈。“采用智能的互连和卸载技术，可以实现更好的性能扩展。”Gilad Shainer表示。
Mellanox公司推出了据称速度最快的智能交换机Switch-IB 2，它是针对高性能计算、Web 2.0、数据库和云数据中心进行优化的新一代InfiniBand交换机，能够达到100Gb/s的端口传输速率。
Switch-IB 2将MPI操作从CPU卸载至网络，从而将性能提升10倍。它集成了144个SerDes，能够以每信道1Gb/s至25Gb/s速率每秒传输70.2亿条消息，将延迟降至90ns。“Mellanox的智能互连方案不仅可以实现更高带宽、更低延迟的互连，而且能够通过硬件卸载，释放CPU，让CPU专注于应用。”Gilad Shainer表示，Switch-IB 2的推出是Mellanox在协同设计方面迈出的重要一步。
一些OEM厂商将Mellanox的100Gb/s EDR InfiniBand解决方案整合到其新一代的高性能服务器中，获得了更好的灵活性和可扩展性，显著提升了基础架构的运行效率。
2017年，Mellanox公司计划推出200Gb/s InfiniBand端到端的网络解决方案，2019年，400Gb/s InfiniBand将问世。
发力深度学习
Mellanox智能交换机Switch-IB 2所使用的SHArP技术不仅可以助力高性能计算，而且可以用于深度学习和大数据。
在大数据方面，越来越多的用户希望数据处理和分析是准实时，甚至是实时的，不仅可以对过去的情况进行追溯，更重要的是可以对当前发生的事，以及未来的情况进行准确的分析和预测。这才是大数据真正的价值所在。
实时的大数据分析更要依赖一个高效的IT基础设施。在数据分析和商业洞察方面，Mellanox在全球范围内拥有一些成功的应用。
举例来说，在线支付工具PayPal采用Mellanox的解决方案，实现了准实时的金融欺诈分析；在线图片分享网站Flickr与Mellanox合作，实现了快速的图像处理和识别；美国一家连锁超市Hyvee借助Mellanox的解决方案，可以实时分析用户的消费行为，优化其配送货流程。
Mellanox在深度学习和人工智能方面的最新进展是，与京东签署了全面合作框架协议，共同建立“JD-Mellanox联合创新实验室”，同时启动双方在技术创新方面的战略合作。
根据协议，双方将在技术创新、用户体验和企业级电商平台三个方面展开合作，共同布局人工智能领域，在底层技术上进行合作，并针对高速互连产品展开联合研发。
JD-Mellanox联合创新实验室以图像处理和认知技术为切入点，深入金融、电商、物流、智能等领域，期望在图像识别、大数据搜索、大数据推荐、智能物流等方面率先取得突破。通过与京东合作，Mellanox将加速在中国的布局，让高速互连技术有更多可以落地的场景。
上述应用场景的变化也折射出高性能计算技术的发展和变迁。“计算不再是以CPU为核心。协同设计理念兴起，软件、硬件甚至整个系统的协同设计，可以突破多核计算的性能瓶颈。”Mellanox公司全球市场部副总裁Gilad Shainer表示。
怎么才能更快地吃上披萨？
在协同设计的环境中，CPU不是唯一的核心，只是计算的单元之一，存储、网络也可以拥有强大的计算能力，分担CPU的计算压力，从而构成一个协同的计算整体。
现在，不仅数据量呈爆炸性增长，而且用户要求数据的处理速度越快越好，最好能实时处理。
让数据尽量靠近CPU，这是提升数据处理速度的一种思路，但是在数据量非常大，而且分散在不同地方的应用场景中，让数据靠近CPU实现起来成本较高，而且数据的产生和传输都需要时间，将数据向CPU移动的过程本身就是在浪费时间，对于提升响应速度不利。
“如果在将数据向CPU移动的过程中，在网络中就完成相关的数据计算和处理，那么数据到达CPU之前，相关的计算已经执行完毕，既可以减轻CPU的负担，又可以提升整体的处理效率，缩短响应时间。”Gilad Shainer介绍说，“在网络中完成数据的计算，每一个网络交换机上的网卡就是一个协处理器。”
为了更好地解释什么是协同设计，Gilad Shainer举了披萨饼的制作和送货上门的例子。按照传统的制作方式，披萨饼店接受订单后，先准备饼皮、馅料，然后烤制披萨饼，最后通过快递将披萨饼送到客户家中。这就像是以CPU为核心的计算过程。
如果想让客户更快地尝到披萨饼，可以让员工加快披萨饼的制作速度，或招聘更多的员工，这就像是提升CPU的主频，或采用多核计算的方式。但是，员工个人的工作效率不可能无限提升，员工的数量也不可能无限增加，这就形成了一个难以逾越的瓶颈，这与以CPU为核心的计算方式遇到的瓶颈类似。
即使在点餐的高峰期，也要保证每个客户都能在最短的时间内吃到披萨饼，有什么好办法吗？
“当然有。”Gilad Shainer说，“如果快递员的货车上就载着可以烤制披萨饼的烤炉，那么货车可以边行进边烤制披萨饼，货车到达客户家，正好披萨饼也烤制完成，效率大大提升。这就像是协同设计，虽然CPU还在，不过它的主要工作是接受订单，配制好原材料，而披萨饼的烤制工作不在店里完成，而是在送货车上完成，就像部分数据的计算由网络完成，而不是非要由CPU完成。”
CPU不是唯一的核心
协同设计就是要发挥整个系统中每一个组件，包括CPU、存储、网络的计算潜能，从整体上，而不是从CPU这个局部来提升效率。让网络完成一部分计算工作。Mellanox公司认为，这是提升效率的一种有效途径。
CPU厂商考虑问题的角度是，目前CPU的资源和能力还没有得到充分利用，那么这些多余的资源和能力就可以用来解决网络传输或其他方面的问题。不过，Gilad Shainer质疑，如果CPU的能力没有得到全面施展，那么用户就不应该购买那么多的CPU，构建多核的计算架构，那是一种过渡配置，是浪费。
作为网络厂商，Mellanox一方面与CPU厂商合作，共同为客户提供包含CPU、网络在内的整体解决方案；另一方面，Mellanox的创新之处在于，它的网络产品可以当成协处理器使用，通过卸载这种技术，完成力所能及的计算工作，减轻CPU的负担，同时提升数据处理的速度。
Mellanox之所以能够胜任协同设计，主要源于它一直采用卸载这种技术。过去，卸载与加载（Onloading）之间的争论主要集中在CPU效率方面。研发出一项基于卸载架构的互连技术的难度和复杂度都不容小觑，但其回报也不菲——它能够让CPU从网络管理中脱身，轻松提升40%～50%的CPU与系统利用率。
相反，基于加载架构的互连技术的开发相对简单，只不过是一个简单的通道，所有的网络操作仍然由CPU来管理和执行，从应用的角度来看，最多可能有一半的CPU资源被浪费了。
“我们一直采用卸载技术，只不过最初只是用于网络传输等功能。现在，在协同设计的环境中，我们将更多的算法等卸载到网络芯片上，将原来由CPU进行的处理工作移到了网络中。”Gilad Shainer介绍说。
基于任务卸载的架构能够让像RDMA（远程内存直接访问）这样的技术变得可用，而这是在加载架构中无法实现的。基于任务卸载的架构不仅拥有更好的性价比优势，关键是可以突破系统的性能瓶颈。“采用智能的互连和卸载技术，可以实现更好的性能扩展。”Gilad Shainer表示。
Mellanox公司推出了据称速度最快的智能交换机Switch-IB 2，它是针对高性能计算、Web 2.0、数据库和云数据中心进行优化的新一代InfiniBand交换机，能够达到100Gb/s的端口传输速率。
Switch-IB 2将MPI操作从CPU卸载至网络，从而将性能提升10倍。它集成了144个SerDes，能够以每信道1Gb/s至25Gb/s速率每秒传输70.2亿条消息，将延迟降至90ns。“Mellanox的智能互连方案不仅可以实现更高带宽、更低延迟的互连，而且能够通过硬件卸载，释放CPU，让CPU专注于应用。”Gilad Shainer表示，Switch-IB 2的推出是Mellanox在协同设计方面迈出的重要一步。
一些OEM厂商将Mellanox的100Gb/s EDR InfiniBand解决方案整合到其新一代的高性能服务器中，获得了更好的灵活性和可扩展性，显著提升了基础架构的运行效率。
2017年，Mellanox公司计划推出200Gb/s InfiniBand端到端的网络解决方案，2019年，400Gb/s InfiniBand将问世。
发力深度学习
Mellanox智能交换机Switch-IB 2所使用的SHArP技术不仅可以助力高性能计算，而且可以用于深度学习和大数据。
在大数据方面，越来越多的用户希望数据处理和分析是准实时，甚至是实时的，不仅可以对过去的情况进行追溯，更重要的是可以对当前发生的事，以及未来的情况进行准确的分析和预测。这才是大数据真正的价值所在。
实时的大数据分析更要依赖一个高效的IT基础设施。在数据分析和商业洞察方面，Mellanox在全球范围内拥有一些成功的应用。
举例来说，在线支付工具PayPal采用Mellanox的解决方案，实现了准实时的金融欺诈分析；在线图片分享网站Flickr与Mellanox合作，实现了快速的图像处理和识别；美国一家连锁超市Hyvee借助Mellanox的解决方案，可以实时分析用户的消费行为，优化其配送货流程。
Mellanox在深度学习和人工智能方面的最新进展是，与京东签署了全面合作框架协议，共同建立“JD-Mellanox联合创新实验室”，同时启动双方在技术创新方面的战略合作。
根据协议，双方将在技术创新、用户体验和企业级电商平台三个方面展开合作，共同布局人工智能领域，在底层技术上进行合作，并针对高速互连产品展开联合研发。
JD-Mellanox联合创新实验室以图像处理和认知技术为切入点，深入金融、电商、物流、智能等领域，期望在图像识别、大数据搜索、大数据推荐、智能物流等方面率先取得突破。通过与京东合作，Mellanox将加速在中国的布局，让高速互连技术有更多可以落地的场景。