横向扩展 高效去重:应对大数据备份挑战

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:l398655579
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  电信运营商的备份数据量通常较大,而且对数据的实时性要求较高。中国惠普有限公司存储产品部高级技术顾问张楠表示,电信运营商在数据备份方面主要关注以下四方面因素:第一,在最短的时间内完成数据的备份,这也是大数据备份面临的一个难题;第二,加快数据恢复的速度,特别是在灾难事件发生后,能否及时地恢复数据对电信运营商来说非常重要;第三,解决企业分支机构数据备份和容灾的问题,实现数据的集中保护和管理;第四,实现异地容灾。
  福建联通在最近一次备份系统升级中,采用HP StoreOnce B6200备份解决方案,消除了备份系统中的瓶颈。
  大数据带来新挑战
  随着3G业务的高速发展,福建联通不仅调整了营销策略,而且其整个业务数据的存储、备份和应用也发生了变化。比如,福建联通以前关注用户的话单、话费,现在则开始对用户的上网行为进行精确分析。“这种新的业务需求对我们的信息系统的支撑能力提出了更高的要求。”福建联通信息化事业部经理郑刚举例说,“以前,我们的存储系统的容量大小是根据用户数来估算的。现在,从业务的角度分析,每增加一个应用维度,数据量就要增加20%~30%。随着业务不断增加,我们的业务数据量呈现爆炸性增长的态势。这对于我们的数据存储和备份架构来说是一个严峻的挑战。”
  郑刚表示,HP StoreOnce B6200在以下几方面很好地满足了我们的备份需求:第一,HP StoreOnce B6200具有非常好的扩展性,可以满足数据高速增长的需求;第二,HP StoreOnce B6200自带重复数据删除功能,不仅备份性能出色,而且具有高可用性,同时还降低了备份系统的整体拥有成本;第三,与福建联通以前使用过的同类产品相比,HP StoreOnce B6200的优势在于,能够在复杂的SAN环境中更加灵活、高效地实现数据备份。
  一专多能
  福建联通很早就开始进行数据大集中的工作。数据的集中对备份系统的性能、灵活性、可扩展性以及成本等提出了更严格的要求。郑刚表示:“在升级备份系统时,我们最关注的还是成本,其次是系统的可管理性和可扩展性。HP StoreOnce B6200在上述几方面都拥有明显的优势。”
  此次升级备份系统,福建联通用HP StoreOnce B6200替换了原有的虚拟磁带库,备份软件也选用了HP Data Protector。HP StoreOnce B6200备份平台支撑着福建联通的一些核心业务,主要包括CRM系统、计费系统、账务系统等,数据总量约为40TB。福建联通每天每个小时做一次增量备份,每周进行两次全备份。
  采用HP StoreOnce B6200后,福建联通备份系统的整体性能有了明显提升。以前备份一个数据库至少需要10多个小时,而现在只需要几个小时。HP StoreOnce B6200在满配(8个控制器、384块硬盘)的情况下,其备份速度最高可以达到100TB/h。“通常情况下,用户每天备份需要8~10个小时,而使用HP StoreOnce B6200,只需2~3个小时就能完成备份工作。”张楠举例说。
  郑刚表示,与以前使用的虚拟磁带库相比,HP StoreOnce B6200不仅整体拥有成本更优,而且可以更好地满足大数据备份的需求。“如果仅从容量或性能的角度考虑,我们也可以选择其他厂商的设备。但是,HP StoreOnce B6200不仅自带重复数据删除功能,而且采用多控制器架构,能够同时支持多条数据链路,从而避免了备份大数据时可能出现的网络拥塞,也减少了对网络带宽的占用。今后,如果我们的数据中心SAN网络要跨机房部署,而HP StoreOnce B6200能够有效减少对带宽的占用,那么我们在部署多Fabric架构时就会变得游刃有余。”
  在福建联通,HP StoreOnce B6200主要被用于备份数据库数据,而文件备份还是采用传统的磁带库方式。郑刚说:“我们的数据库备份都是基于虚拟的架构,而文件还是备份到物理磁带库中。我们现在有3个大容量的磁带库。”
  福建联通此次采购的HP StoreOnce B6200的容量为96TB,实际已经使用的存储空间为20TB~30TB。“现阶段,HP StoreOnce B6200实际安装的磁盘数量还比较少,不过已经能够满足我们当前的应用需求。未来,根据业务发展的需要,我们将进一步优化现有的数据保护整体架构,并对HP StoreOnce B6200进行扩容,相信其性能还会继续提升。”
  重复数据删除效果好
  如今,备份技术与重复数据删除技术已经密不可分,不仅备份软件中增加了重复数据删除功能,而且许多备份硬件设备,比如虚拟磁带库中也内嵌了重复数据删除功能。在数据存储量不断增加的情况下,重复数据删除技术可以有效节省存储空间,提高数据备份的效率。
  福建联通以前采用的备份软件就包括重复数据删除功能。但在实际应用中,郑刚发现带有重复数据删除功能的软件在性能、稳定性以及数据压缩效率等方面仍有欠缺,而基于横向扩展架构的HP StoreOnce B6200具有的重复数据删除功能十分优异,稳定性也更好。
  为了满足用户跨平台的数据保护要求,第一代重复数据删除技术厂商会采用不同的重复数据删除技术处理来自应用服务器、备份服务器以及磁盘备份设备上的数据,由于技术不兼容,很容易造成信息孤岛,而且重复数据删除的效率低下,管理的复杂度也很高。
  “第一代重复数据删除技术多是基于单节点或单个重复数据删除引擎存储架构的,一旦引擎发生故障,备份或恢复作业就会停止,客户数据就有丢失的风险”。张楠介绍说,“惠普推出的创新的第二代重复数据删除技术——联合重复数据删除,基于面向未来设计的多引擎的横向扩展存储架构。以采用第二代重复数据删除技术的HP StoreOnce B6200为例,它是一个全自动的、高可用的、多引擎的解决方案,可以支持最多8个引擎,能够随着数据量的增加实现性能和容量的同步提升。”   采用第二代重复数据删除技术的HP StoreOnce B6200可以在任何地点进行重复数据删除,包括应用服务器端、备份服务器端以及备份目标端等。惠普已将第二代重复数据删除技术用于HP StoreOnce全系列的备份设备,包括低端的2000系列、中高端的4000系列以及面向大型数据中心及关键业务的6000系列。
  实现统一备份
  福建联通本地的主数据中心已经没有多少空间。福建联通正在筹划建设新的数据中心。郑刚表示:“基于HP StoreOnce B6200的备份方案上线已经半年多。整个系统的备份速度、稳定性等都能满足我们的需求。从目前情况看,HP StoreOnce B6200的许多先进功能我们还没有用到。但在项目二期进行系统扩容时,我们考虑将HP StoreOnce B6200用于远程数据复制和迁移等,为企业的大数据备份和容灾应用奠定基础。从长远来看,我们将依托HP StoreOnce B6200构建一个统一、完整的数据备份系统。”
  未来,在企业的云计算数据中心内部实现统一备份是大势所趋。统一备份要求,企业不能再针对每个应用系统单独建立一个备份系统,那样容易形成信息孤岛。郑刚表示:“我们计划实现统一的备份,就是将整个备份系统,包括软件以及备份设备本身,统一管理起来。从HP StoreOnce B6200具备的可扩展性和可管理性来看,它完全可以满足我们对统一备份的需求。”
  2012年6月,惠普对HP StoreOnce 备份产品家族进行了更新,HP StoreOnce B6200配合最新的HP Catalyst软件,其备份性能已经达到100TB/h。郑刚表示:“目前,HP StoreOnce B6200运行十分稳定。未来,在备份系统扩容时,我们也许会考虑采用HP Catalyst软件。”
  相关链接
  HP StoreOnce B6200
  由于采用了可横向扩展的集群技术,HP StoreOnce B6200不仅可以实现性能和容量的同步线性扩展,而且具有更高的可用性。
  2011年,惠普公司首次推出StoreOnce B6200,其本机的备份和恢复速度为28TB/h。2012年6月,惠普推出了升级版的HP StoreOnce B6200,其本机的备份和恢复速度已经提高到40TB/h。
  惠普在升级StoreOnce B6200的同时,还发布了HP StoreOnce Catalyst软件。在HP StoreOnce Catalyst软件的帮助下,HP StoreOnce B6200的备份速度可以提高到100TB/h。这意味着采用普通备份产品一周才能完成的工作,HP StoreOnce B6200只用一天时间就能完成。
其他文献
在近日举行的SAP中国商业同略会(China SAPPHIRE)上,华为推出了经过SAP HANA认证的华为FusionCube融合一体机解决方案,这是继今年CeBIT 2013(德国汉诺威电子信息及通信技术博览会)上华为推出通过SAP HANA认证的单节点RH5885服务器解决方案后,华为与SAP深化在大数据方面合作的又一新举措。华为云计算产品线总裁任志鹏向记者表示:“我们将努力使FusionC
《哈佛商业评论》最新一期的封面上,一位勇士正挥舞着长鞭,试图驾驭大数据这匹“烈马”。的确,大数据的重要性已是公认,可你有没有想过真正想获取大数据价值的人能以何为鞭?仅有鞭在手是否足矣?  “IBM对大数据有自己独到的观点。”IBM软件集团大中华区业务分析洞察及智慧地球解决方案总经理卜晓军在主题为“大数据·大洞察·大未来”的年度大数据战略发布会上的发言举重若轻。的确,IBM严谨的智慧分析洞察方法论、
近日,我国首条高端FBGA(细间距球栅阵列)集成电路存储器封装测试生产线在济南投产。借助对奇梦达资产的二次并购,浪潮获得了世界先进水平的高端集成电路封装制造能力,为浪潮自身在云计算核心设备——服务器、存储、云端产品实现芯片级的研发和制造能力提供了支撑。   据浪潮集团副总裁高传贵透露,浪潮在存储器上的布局可以追溯到2008年,此次以1亿元将奇梦达在葡萄牙的整条封装测试生产线收入囊中,是继2009
美国康普企业解决方案大中国区技术经理吴健:把能源管理做得更加精细化,康普不仅可以做到常规的能源管理,还可以做到针对交换机POE开关供电时间的策略管理,这就是智能布线系统和其它系统融合的优势。    “云”为基础建设带来的变化,主要是高性能数据中心的建设问题。对于数据中心建设,布线扮演着越来越重要的角色。  综合布线一般来讲,会被当做两个系统,或者是两个方向的结合点。如果你是一个建设机房的人,必须要
2011年服务器产业链厂商动作频繁,市场需求也呈现了持续增长的态势。全球服务器出货量继2010年恢复增长之后,2011年实现了持续增长。市场繁荣的背后,产业链各环节暗流涌动,平台之争也在变化中加速前行。   IDC统计报告显示,全球服务器市场出货量在2011年前三季度均维持了稳定增长的态势:第一季度全球服务器工厂出货量年增长12.1%至119亿美元;第二季度,全球服务器出货量同比增长8.5%至2
2012年1月份,受上年同期基数较高和春节因素的影响,我国电子信息产品进出口额均呈同比下降态势。电子信息产品出口总额460亿美元,同比下降6.4%,降幅高于全国平均水平5.9个百分点。  2015 年亚太区(不含日本)  企业应用软件市场将达 80 亿美元  市场调查公司 IDC发布的亚太区企业应用软件市场跟踪报告显示, 2011 年上半年亚太区(不含日本)企业应用软件市场比去年同期增长了18.6
随着手机和平板电脑承载越来越多的商务功能,商务人士一定会对整合了商务资讯、社交、商旅服务等功能的商务浏览器有更迫切的需求。  ——本报记者 王沛霖    在PC浏览器市场,并没有专门针对商务人群的细分产品,但是在手机浏览器领域,情况是否会有所不同呢?   移动互联网研究中心副主任、移动中国网CEO万永坚定地认为:“商务浏览器将成为手机浏览器甚至移动互联网市场的一片新蓝海,谁能更早地切入这一市场,
2012年度中国  行业信息化  突出贡献奖  2012年度中国  电子政务  最佳解决方案奖  思创数码连续六年入选中国软件百强企业,连续七年成为国家规划布局内重点软件企业,先后荣获中国优秀民营科技企业、全国信息产业系统先进集体、优秀高新技术企业、国家创新型试点企业称号。  思创数码科技股份有限公司创立于1991年,专业从事软件系统开发、实施与服务,以及大型信息系统和建筑智能化系统的规划设计、集
《计算机信息系统集成企业资质等级评定条件(2012年修定版)》(以下简称修定版)于5月2日颁布。在此之前的两年,因为工业和信息化部计算机信息系统集成资质认证工作办公室暂停系统集成企业一、二、三级资质申报的受理、审批和备案工作,我国系统集成商资质评审工作处于休整阶段,集成商只能换证,不能升级。  评审条件更加细化  1999年11月12日,《计算机信息系统集成资质管理办法(试行)》(以下简称试行版)
随着用户个性化需求的增加,简单的输出设备已经无法满足他们的要求,他们需要一个可以整合到企业内部,并和企业业务流程相结合的办公系统,部署文印解决方案的需求也开始增加。除此之外,在BYOD大潮推动下,企业用户的移动办公需求猛增,如何能够实现高效的移动办公成为了摆在企业CIO面前的难题。  以移动优化解决方案  过去,复合机厂商往往被人们认为是一个硬件厂商,只是卖复合机、硒鼓等设备和配件。但是,随着用户