论文部分内容阅读
大名鼎鼎的电子商务零售商eBay正面临着大多数公司所从未经历过的基础设施需求。
海量数据挑战
目前,eBay分析平台每天处理的数据量已经超过了纳斯达克交易所每天的数据处理量。为了准确分析用户的购物行为,eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析。
eBay产生的数据主要是其用户及网购的行为信息。eBay的数据分析师们不仅需要获得已发生交易的数据,还需要了解客户在网上交易前后做了些什么,以及他们即使没有购买任何商品,他们又在网上浏览了什么。实际上,这些网络行为要比交易本身产生更多的数据。eBay会将这些数据全部累积保存起来。
经过一年半的努力,eBay于2011年启用了亚利桑那数据中心。该项目代号为水星计划(Project Mercury),旨在推进eBay数据中心的加固进程,提供足够的密度及拓展性,以满足快速增长的数据存储及处理需求。
集装箱中的搜索引擎
eBay在亚利桑那的数据中心中部署了新的搜索引擎以及一个巨型数据分析平台。eBay全球基础服务部资深主管Dean Nelson介绍,此计划始于2011年,运行在一个高性能的计算集群上,其中有一半的集群放置在数据中心顶部的Dell 数据中心模块上。在新模块的支持下,搜索等前端功能都会得到扩展,新的引擎将运行在所有与已有设备并行的新设备上。Nelson 说,新引擎将在新设备和现有设备上一起部署上线。
eBay采用的新Hadoop数据分析平台是目前拥有400个节点的集群,eBay计划,到2012年底将其扩充一倍。与此同时,基于高性能计算系统,eBay也正在实施一套全新的搜索引擎。Hadoop集群和高性能计算系统是eBay水星计划的重要组成部分。
多样化解决路径
水星计划工程设计的原则是为每一个问题提供多样的解决途径。数据中心中有两套不同的冷却系统,设施中有两套不同的冗余层。Nelson表示:“针对同一个问题,一定有不同的解决方案。”让设备面向未来是采用这种设计的主要原因。
在新数据中心的生命周期中,它将经历四次技术更新,每一次更新将使其密度加倍,因此基础设施必须容纳任何未来可能的需求。为了适应技术更新,数据中心的能耗将从目前的4兆瓦增长到12兆瓦,机架密度将从每机架4千瓦扩展到每机架40千瓦。
Green Grid(TGG)研究了水星计划,验证了eBay新数据中心的能效结果。从测试结果看,新数据中心最佳PUE值达到了1.26,最糟是1.43,平均值是1.35。由于数据中心位于美国最炎热的地区之一,TGG认为这一成绩非常优秀。
水星计划是eBay为其多年的数据中心整合策略的一个里程碑,eBay希望通过此项目资助未来的基础设施投资。在数据中心高效能的支持下,其运营成本削减了一半。
海量数据挑战
目前,eBay分析平台每天处理的数据量已经超过了纳斯达克交易所每天的数据处理量。为了准确分析用户的购物行为,eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析。
eBay产生的数据主要是其用户及网购的行为信息。eBay的数据分析师们不仅需要获得已发生交易的数据,还需要了解客户在网上交易前后做了些什么,以及他们即使没有购买任何商品,他们又在网上浏览了什么。实际上,这些网络行为要比交易本身产生更多的数据。eBay会将这些数据全部累积保存起来。
经过一年半的努力,eBay于2011年启用了亚利桑那数据中心。该项目代号为水星计划(Project Mercury),旨在推进eBay数据中心的加固进程,提供足够的密度及拓展性,以满足快速增长的数据存储及处理需求。
集装箱中的搜索引擎
eBay在亚利桑那的数据中心中部署了新的搜索引擎以及一个巨型数据分析平台。eBay全球基础服务部资深主管Dean Nelson介绍,此计划始于2011年,运行在一个高性能的计算集群上,其中有一半的集群放置在数据中心顶部的Dell 数据中心模块上。在新模块的支持下,搜索等前端功能都会得到扩展,新的引擎将运行在所有与已有设备并行的新设备上。Nelson 说,新引擎将在新设备和现有设备上一起部署上线。
eBay采用的新Hadoop数据分析平台是目前拥有400个节点的集群,eBay计划,到2012年底将其扩充一倍。与此同时,基于高性能计算系统,eBay也正在实施一套全新的搜索引擎。Hadoop集群和高性能计算系统是eBay水星计划的重要组成部分。
多样化解决路径
水星计划工程设计的原则是为每一个问题提供多样的解决途径。数据中心中有两套不同的冷却系统,设施中有两套不同的冗余层。Nelson表示:“针对同一个问题,一定有不同的解决方案。”让设备面向未来是采用这种设计的主要原因。
在新数据中心的生命周期中,它将经历四次技术更新,每一次更新将使其密度加倍,因此基础设施必须容纳任何未来可能的需求。为了适应技术更新,数据中心的能耗将从目前的4兆瓦增长到12兆瓦,机架密度将从每机架4千瓦扩展到每机架40千瓦。
Green Grid(TGG)研究了水星计划,验证了eBay新数据中心的能效结果。从测试结果看,新数据中心最佳PUE值达到了1.26,最糟是1.43,平均值是1.35。由于数据中心位于美国最炎热的地区之一,TGG认为这一成绩非常优秀。
水星计划是eBay为其多年的数据中心整合策略的一个里程碑,eBay希望通过此项目资助未来的基础设施投资。在数据中心高效能的支持下,其运营成本削减了一半。