高速数据分析全靠它

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:QHP925
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  英特尔至强融核处理器为更快速的数据分析提供了坚实的基础,同时也是高性能计算应用创新的引擎。英特尔通过不断增强的高性能计算产品线、广泛的合作伙伴联盟,以及不断推陈出新的软件工具,将高性能计算应用推向一个新的高潮。
  很多人对Viscovery这个公司的名字并不太熟悉,但是提到正在热播的由江苏卫视打造的大型明星竞技真人秀《我们战斗吧》,可能很多人都会有所了解。作为《我们战斗吧》的衍生产品之一,由Viscovery与江苏卫视、傲播APP联手推出的一款APP,变单向的视频观看为双向互动,用户通过这款APP软件可以了解节目中嘉宾所穿戴的衣、帽、鞋、包等产品信息,并可直接下单购买。Viscovery借助英特尔至强融核处理器实现了对视频和大数据的高效处理。
  可能在有些人的印象中,高性能计算(HPC)仍然是“阳春白雪”,主要用于科学计算,也就是那些“纯搞数字”的应用,而不能在商业应用中发挥作用。其实,HPC早就突破了科学计算的范围,除了在天气预报、海洋科学研究、大气污染防治等传统行业应用中保持中流砥柱的地位以外,还在以金融、视频识别、基因测序等为代表的大数据分析、机器学习等领域扮演着重要角色。
  HPC正在焕发又一春。
  鱼与熊掌可兼得
  IDC预测,全球HPC市场的规模将从2014年的210亿美元逐步增长到2019年的310亿美元。毫无疑问,HPC已经成为全球成长最快的IT应用领域之一。一方面,HPC追求“更高、更快、更强”,正朝着“E级计算”迈进;另一方面,HPC应用在各个商业领域快速铺开,为改善人们生活质量提供帮助。
  很多人已经养成了每天查看城市PM2.5的习惯。如今,准确预报天气,治理雾霾,都离不开HPC系统。“现在,我们平均每天收集超过100种大气化学成分浓度,气象要素的数据量高达300GB。为了更好地处理庞大的数据量,我们对高性能计算平台的选择与测试提出了更苛刻的要求。”中科院大气物理研究所王自发研究员进一步介绍说,“在实际的测试和使用过程中,基于全新的英特尔至强融核处理器的计算平台与原有系统相比,性能有了显著提升,同时降低了整个系统的功耗。”
  英特尔至强融核处理器的出现,让中科院大气物理研究所在HPC平台的选择上实现了“鱼与熊掌兼得”,也就是性能与经济性的平衡。
  文章开头提到的Viscovery公司,它们率先构建了CPU-Only的全新架构的视频深度学习平台,其核心也是英特尔至强融核处理器。与传统方案相比,该视频深度学习平台在视频流识别的能效上提高了3~6倍。Viscovery公司首席执行官黄俊杰表示:“基于英特尔至强融核处理器,我们更好地实现了软硬件的协同整合,可以更全面、高效地服务视频和直播平台,从而将深度学习广泛应用于商业环境,让人们获得更好的应用体验。”
  实践证明,HPC不仅在科学研究、能源勘探、金融模型等应用领域是一把好手,在机器学习、图像识别、基因测序等领域同样起到了加速器的作用,让人们更快地步入工智能时代。
  北京诺禾致源生物信息科技有限公司(以下简称诺禾致源)是一家国内领先的基因组学产品和生命健康服务提供商。借助基于英特尔至强融核处理器的HPC平台的高性能和统一编程模型,诺禾致源大大缩短了基因组测序的时间。诺禾致源科技服务首席技术官田仕林评价说:“英特尔至强融核处理器为实现快速、准确的基因组测序提供了强大的技术支持,这不仅有力地推动了基因测序效率的提升和应用范围的拓展,而且将在精准医疗、靶向药物研发、个性化诊疗等前沿应用领域实现更大的突破。”
  HPC是一个持续演进的过程
  2008年奥运会的帆船比赛在青岛举行。那一年,青岛海边出现了浒苔泛滥的情况,从岸边看去,满眼是绿色的浒苔,根本看不到海水。奥运会帆船比赛马上就要开始了,怎么办?国家海洋局第一海洋研究所信息中心迎难而上。“我们基于数值模型计算出了一条所谓的浒苔通道,工人只要打捞这一通道内的浒苔即可。经过科学的计算,不在通道内的浒苔不会向奥运会帆船比赛的区域漂移。这样一来,节省了大量人力、物力、财力和时间,保证了奥运会帆船比赛的正常进行。”国家海洋局第一海洋研究所信息中心主任刘海行津津乐道。
  刘海行用一首打油诗对海洋科学研究与HPC之间的关系进行了形象描述:“科研预测要求高,‘海洋模式’是关键;‘海洋模式’可实验,计算需求无上限;软件技术需求切,复合人才待涌现;模式研发需助力,交流合作促发展。”
  在海洋科学方面,理论研究、观测监测和数值模式是三大支柱,反映了一个国家在海洋开发和利用方面的综合实力。数值模型起步于上个世纪70年代中期,在硬件方面基本都采用小型机。在这方面,我国的技术研发与国外基本同步。“我们自行设计并拥有自主知识产权的海洋数值模式是一个非常典型的应用,它处于动态的发展过程之中。”刘海行举例说,“近些年来,随着计算机的规模不断扩大,我们也对海洋数值模式进行了诸多改进,从2012年可以支持2万个核,发展到今天已经可以支持852万个核。”
  借助至强融核处理器的卓越性能和通用x86结构体系,国家海洋局第一海洋研究所在海洋环流数值模式的设计与开发、可视化、数据分析等不同领域取得了可喜的进展。刘海行介绍说:“借助基于英特尔处理器的高性能计算平台所提供的领先性能和统一编程模型,我们建立了三维、动态、实时、精准的海洋环境数值模拟系统,以创新的数字化技术加速海洋研究和海洋资源的开发和利用。”
  海洋数值模式对HPC系统的计算能力、存储和IO能力,以及研发能力提出了更高的要求。“随着负载不断增加,我们希望HPC系统具有更好的扩展性。另外,早期的数值模型都是科研人员自己编写的,很多情况下都是凭借逻辑推理去完成调试,而没有更好地利用相关软件工具。现在,为了提高工作效率,我们需要与软件开发商密切合作,共同开发软件工具,同时培养大量复合型的应用人才。”   为了更好地满足海洋数值模式的需求,硬件架构也在不断演变。比如,前几年比较流行的方式是“CPU GPU”,现在英特尔力推基于至强融核处理器的HPC系统。“我们目前拥有一台采用英特尔至强融核处理器的工作站,并且完成了一系列测试,效果不错。”刘海行介绍说,“不过,至强融核处理器毕竟是一个新的产品,其结构与普通的x86处理器不同,从应用的角度看,还有很多可以进一步优化的东西。”
  刘海行介绍说:“我们与英特尔合作已经有十多年时间,无论是系统的优化,还是复合型应用人才的培养,都让我们受益匪浅。今年5月,我们还基于英特尔至强融核处理器,针对新应用进行了产品测试和代码现代化。”
  在合作培养复合型人才方面,英特尔采用了多种方式,比如安排国家海洋局第一海洋研究所的员工来英特尔公司实习和培训,双方联合进行应用开发。研究所的员工在英特尔公司可以学到一些调试工具的使用方法和编程方法,并可与更多员工进行交流和经验分享。刘海行表示:“我们期待接下来与英特尔在至强融核处理器的应用方面有更深入的合作。”
  至强融核是理想选择
  通过上述成功案例,我们已经初步领略了英特尔新一代至强融核处理器的风采。基于英特尔至强融核处理器的高性能计算平台已经在多个领域开花结果。在近日举行的英特尔至强融核创新应用论坛上,英特尔携手10多家合作伙伴与用户,主要包括戴尔、H3C、华为、浪潮、联想、宝德、曙光、云达、超微等,全面展示了基于英特尔融核处理器的计算系统,以及最新的应用成果。
  高性能计算已经成为加速数据洞察和商业创新的关键途径。英特尔认为,创新的高性能计算技术和应用将重塑企业的业务流程,改变人们的认识方式,因此持续推动高性能计算在中国的创新应用和快速普及。
  至强融核处理器是英特尔首款专门针对高度并行负载设计的、可独立自启动的主处理器,其突出优势是高度集成性,比如首次实现了高带宽内存和高速互联技术的集成。凭借多达72个高效内核、可提供超过3TFlOPS(每秒浮点运算次数)的双精度峰值的强大计算能力,至强融核处理器摆脱了对PCIe总线的依赖,实现了高可扩展性,还可集成双端口英特尔Omni-Path架构,进一步降低系统的整体拥有成本。总之,至强融核处理器为更快速的数据分析提供了坚实的基础,同时也是高性能计算应用创新的引擎。
  用统一的架构支持多样化的应用,这是英特尔高性能计算的基本原则。至强融核处理器就是这一架构最坚强的核心,它拥有企业级的内存、高IO带宽,可以突破PCIe传输的瓶颈,运行任何x86工作负载,因此是高性能计算的理想之选。
  英特尔通过不断增强的高性能计算产品线、广泛的合作伙伴联盟,以及不断推陈出新的软件工具,将高性能计算应用推向一个新的高潮。
其他文献
近日,从国际标准化组织国际电工委员会(ISO/IEC)第一联合技术委员会自动识别与数据采集分技术委员会(ISO/IEC JTC1/SC31)秘书处获悉,由中国信息安全认证中心参与研制的物联网安全关键技术——射频识别空中接口安全协议(TRAIS)被国际标准采纳,并正式发布为国际标准ISO/IEC 29167-16:2015。
福州中海智信息技术有限公司(以下简称“中海智公司”)成立于2013年,公司位于国家级高新园区——“福州高新区海西科技园”。公司专注职业教育,在数字化校园、移动校园、网络教学与数字资源开发等领域有丰富的咨询、规划、建设和服务的经验。公司现有员工50余人,在全国10个省、市、自治区有办事处与服务机构,在福州总部设有研发中心。拥有完善的营销服务体系。  打造职业教育智慧品牌  中海智公司提供智慧校园、移
当你第一次试乘无人驾驶汽车时,会不会兴奋得有些手舞足蹈?当你第一次用手机支付,购买到一张地铁车票时,会不会感叹原来生活竟然如此便利!这是一个时时刻刻都会令人感到惊喜、意外和感动的新时代。云计算、大数据、人工智能、物联网等在重新塑造我们的社会和生活。  我就是云  一年一度的“vFORUM 2017”大会10月26日在北京拉开了大幕,主题十分明确——改变规则。其实,想要改变规则的不仅仅是VMware
CPU是网络安全产品的“心脏”,也是实现自主可控的核心。基于国产核心芯片的安全产品的普及符合我国的国家利益,也符合当前国内网络安全的发展潮流。  CPU不自主,整个信息安全产业就像建筑在沙滩上的城堡。正是基于这样的认识,中科网威开始了艰辛的自主可控安全产品的创新之路。1月28日,北京中科网威信息技术有限公司发布了采用国产处理器的自主可控漏洞扫描系统—中科神威NSVS—7000。  从“无”自主可控
P2P网贷行业有一句话非常流行,那就是“把钱借出去不是本事,能收回来才是本事”。这句话的意思是,交易额对P2P网贷平台固然重要,但风控更为重要。所以,有“收回钱”本事的P2P网贷平台,必然也是一个拥有良好风控系统的P2P网贷平台,财路通就是一家始终致力于提升“收回钱”本事的P2P网贷平台。  背靠背的风控  财路通的风控系统分为前端风控与后端风控两大部分。前端风控被布置于借款入口,也就是由业务员组
11月20日,官方宣布摩拜单车New Lite“轻新”已经成功登陆深圳。首站在福田,之后也将在深圳其他区陆续投放。  据官方介绍,全新一代摩拜单车重新设计了每一个车身零件,在确保安全和耐用性的前提下尽可能减少重量,车身强度超欧盟标准50%,而整车仅重15.5kg,是目前市场上最轻的共享单车。  除此之外,摩拜NewLite“轻新”单车还使用了全新研发的内嵌式链条传动系统,在让骑行体验更加轻快的同时
人工智能可以同声传译、写新闻稿、协助医生看病、让机器人脸识别的精度高于人类,甚至写诗和战胜围棋世界冠军,其应用可谓“百花齐放”。  数据显示,截至2017年6月,全球人工智能领域企业总数达到2542家,预计到2030年,人工智能将为世界经济贡献15.7万亿美元。  今年7月国务院印发的《新一代人工智能发展规划》(以下简称《规划》)提出,到2020年,我国人工智能核心产业规模超过1500亿元,带动相
随着经济全球化的深入发展和“一带一路”的提出,全球贸易圈的互联互通逐步加深,跨洲贸易量急速攀升,物流企业对于全球化部署的战略需求更加急迫。信息化和网络创新可以帮助解决这一问题,考虑到网络综合管理及今后的扩展性,某国际知名物流集团选择天维信通的“天维智慧VPN”服务,以增强信息化的核心竞争力。  该物流集团是世界领先的一体化完全物流供应商,拥有百年历史,服务范围涉及公路、铁路、海运、航空和快件,以及
包括宿州在内,全国很多地方政府都在积极打造具有地方特色的云计算产业。充分发挥当地自然资源、基础设施等方面的优势,以云计算、大数据等先进生产力带动地方经济的发展成了各地方政府的共同选择。  宿州,安徽省的北大门,地理位置优越,自然资源丰富。2014年,在安徽省政府目标管理绩效考核中,宿州市在16个地市中综合排名第5,实现了历史性的突破。2015年,宿州战略性新兴产业产值增长29.8%,居安徽省第二。
5月31日,台北国际电脑展(COMPUTEX)拉开序幕。对于英特尔来说这本是一场常规参与的盛会,但却被外界看作是自4月底英特尔宣布重大重组计划之后的首秀,因此格外引人注目。  最近,英特尔公布了一份还算不错的财报,但之后却宣布全球裁员11%,转型力度之大着实让人吃惊。其实回顾英特尔转型之路,要从CEO科再奇上任开始:加大物联网新领域的投入,167亿美元收购FPGA企业Altera加强云端实力,将体