电信存储: 稳定压倒一切

来源 :计算机世界 | 被引量 : 0次 | 上传用户:a442697259
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  【编者按】
  信息化发展到一定阶段,数据量急剧增加,存储变得更加重要。在这样的背景下,由王纪奎编著的《成就存储专家之路》一经问世,就得到热烈的反响,4个月时间销售一空。此书的精华篇章——存储用户的需求分析与存储规划,站在行业信息化角度,系统而深入地剖析了存储重点诉求与实现。
  为此,本报特邀王纪奎开设专栏,汲取此书之精华,结合行业发展最新趋势,为读者勾勒更全面的行业存储蓝图。本期介绍电信行业存储的特点,下期将刊登银行行业的存储特点,敬请关注。
  
  步入2010年,3G网络逐渐成熟,视频信息日渐丰富,三网融合走上前台,云计算正如火如荼地展开,物联网也逐步从概念走向试点,电信行业正处于存储高速增值的需求阶段。
  
  数据增长快
  
  中国电信行业是存储需求最大的行业。据可靠数据显示,某省的BOSS和智能分析系统的存储容量已经超过2500T。
  转型时代的电信综合业务支撑系统(BOSS)将计费、营业、客服三种基本业务系统融合在一起,使得电信企业的信息技术环境变得越来越复杂。面临日益加剧的市场竞争,24×7小时服务被运营商当做了一个最基本的服务措施,所有与存储相关的工作都要在系统不间断运行的状态下完成。同时,电信系统运转过程中产生的海量数据也给存储系统带来了越来越大的压力,决策分析、CRM等应用所需要的庞大数据仓库不仅要求存储系统能够在第一时间完成对这些数据的传输、保存,而且任何小小的存储偏差和故障都不允许。
  此外,开放的存储系统呈现快速增长趋势。Windows和Linux平台上的存储容量增长迅速,核心原因就是非结构化数据增加快。以往我们了解较多的是结构化数据,这往往是企业内部交易系统中的数据。另一类则是“业务关键数据”,是指非结构化数据,这类数据往往用来向内部或外部客户提供服务,在开放的环境中可由公众访问,比如像E-mail、Web网站内容、文档、图片、音频/视频数据等。这类数据的不断增长对存储系统提出了新的需求。用户不再仅仅要求单一的存储产品,而是需要厂商从平台到应用提供一站式存储解决方案,需要支持基于策略的数据管理,能够通过不同存储产品的组合获得最佳存储能力。
  目前,电信运营商的IT支撑系统走向一个从分散到集中,从简单到复杂的过程。其中,服务器和存储系统由于承担着认证、存储、运行各种增值业务的关键任务,它们密不可分,并且在很大程度上决定了电信转型时期的业务发展。今天,电信运营商在开拓新业务的同时,还需要不断提高服务质量,这对IT系统特别是存储系统提出了更高的要求。结合原有核心电信业务、运营支撑系统的优化改造,传统电信运营商如何合理地规划和建设新一代数据存储系统,已经受到广泛关注。
  计费、对账、网管等系统的顺畅运行是电信运营商顺利开展各项业务的基本条件,这些数据的安全与否甚至会关系到运营商竞争策略的制定以及市场地位,因而打造一个坚固稳定的存储系统显得格外重要。
  时下,对关键数据的存储和备份也已成为电信业基础运营发展的关键。电信行业的数据环境比较典型: 一是应用类型的多样性,如Web、E-mail、综合营账、短信计费及移动计费等主营业务; 二是数据类型的多样化,在电信行业的应用中包括了数据库数据文件、普通文本文件、各种格式的图形文件、表格、多媒体文件以及其他各种文件格式; 三是系统平台的多样性,在电信行业中Unix、NT等多种平台的使用方法都不尽相同; 四是存储结构的多样性,因为电信行业自身的发展历程和时间的延续,在不同时期的不相同应用导致了多种存储方式并存的现象,规模较大的电信行业网络可能同时具有从DAS、NAS到SAN的各种存储结构。
  
  三类存储利弊分析
  
  目前的存储方式通常被划分为三大阵营,即SAN、iSCSI和NAS,它们分别针对不同的业务应用。SAN存储方式具有高度的数据安全性和高性能运转等特 征,因此在电信关键业务领域被广泛采用。NAS技术则更适用于具有大量历史数据的IP局域网络的集中存储。iSCSI作为新技术,实际上是FC技术和IP技术的综合利用,高性价比和可靠的性能广泛应用于以流媒体为主的视频监控和CDN宽带项目上。
  三种技术的不同优势使电信运营商在构建不同存储系统时可各取所长。例如,某运营商为了在保证业务量高速增长时实现后端存储系统性能和容量,故选择了SAN解决方案。为了解决原有直连式存储(DAS)对数据高度集中形成的瓶颈,该运营商利用基于SAN存储区域网的存储和信息共享平台对原系统进行了改造,不仅大大减少了系统的停机时间、备份和恢复时间,而且还进一步优化了存储和服务器资源。
  随着存储技术的发展,用户对于SAN的逐渐认可成为当前存储虚拟化热潮的主要推动力。通过网络存储技术,SAN正急剧改变着传统的存储模式。曾经被大量的异构服务器和存储系统、多重冗余的光纤交换机连结、相互交织的应用系统等问题困扰不已的电信行业用户对全面存储管理的渴望日益强烈。
  另外,iSCSI产品在连接通路上就比FC存储更加平民化,把SCSI协议封装在IP包里,这让存储系统走出了贵族式的消费,开始让广大的用户可以使用高速稳定的数据存储服务。 随着iSCSI存储系统中基于Cache Mirror双控技术的成熟,iSCSI有取代中低端FC存储的趋势。例如在某省运营商的“全球眼”系统招标中,最初的考虑方案是FC存储系统。 但是“全球眼”项目存放的大都是视频文件,动辄上百T。如果使用FC存储,存储的投资将达到全网投资的一半以上,而且分布在各地的FC存储系统都需要专人维护,维护费用太高。而最后选用的IP存储设备解决了这些问题: 基于Cache Mirror的双控全冗余技术能够提供电信级的服务,而基于IP网络的Web管理模式,能让用户在30分钟内学会应用。
  
  简约之道
  
  鉴于电信存储的复杂需求,电信级存储几乎被视为是最复杂存储环境的集合。为了避免风险,电信运营商通常会选用多个存储设备厂商的产品来组成这个庞大的存储阵列。但是这种模式最终却成为了阻碍电信系统数据资源共享以及系统协同运作的障碍。为何会如此呢?因为不同存储设备厂商基于不同技术内核设 计出来的产品形成了一个个异构系统,它们缺乏统一标准,从而制约了存储设备的无缝连接。由于这一矛盾日益凸显,大量的资源浪费以及对电信系统整合的迫切需求都在催促着存储市场能够出现一种完美的解决方式来打破这种僵局。
  简约存储的理念就这样应运而生了,将复杂的存储环境简单化,消除异构平台所造成的信息传递壁垒是简约存储的基本思路。简约存储的根本目标就是充 分提高存储资源的利用率,降低存储管理的复杂性,将企业内部分散的存储系统有效整合,实现跨平台的存储资源共享和统一管理,将存储再度化繁为简。
  虚拟化存储成为实现简约存储的实际途径。虚拟化是一种实现对逻辑环境进行简单管理的有效手段。通过虚拟化,用户将摆脱底层物理环境的复杂性,充分利用基于异构平台的存储空间,在开放的基础上实现对资源的有效规划。虚拟化可以自动配置存储设备及其空间,使用户能在一个域中使用在物理上分散存在的所有存储资源,以便跨地区管理不可预测的事件。而无论这些存储资源所处的存储域的位置、大小、类型和制造商如何,都可从单一逻辑视图中进行管理。
  虚拟化存储是实现简约存储的实际途径。它可以在三个不同的层面上实现: 基于专用卷管理软件在主机服务器上实现,利用阵列控制器的固件在磁盘阵列上实现以及利用专用的虚拟化引擎在存储网络上实现。在复杂的电信环境下,由于同时存在多个主机服务器访问多个异构存储设备的状况,基于存储网络的存储虚拟化成为了其主要的发展方向。
  
  引入信息生命管理
  
  为了以最低的成本实现信息价值最大化,企业已经开始将自动化网络存储基础设施与其综合服务和解决方案结合在一起,然后以此为基础制订新的信息管理策略。这种新的信息管理策略称为信息生命周期管理(Information Lifecycle Management, ILM),其目标是完全支持组织、机构业务目标和服务水平的需求。
  采用这种新的信息管理方式,企业将根据战略需求对数据进行分类,然后制订相应的策略,确定最优服务水平和最低成本,并利用自动化网络存储基础设施,将信息转移到相应的服务等级,以满足企业要求。
  信息生命周期管理通过对信息进行分类和分层管理,可以提高资源的利用率,保证服务水平管理(SLA)的实现,从而保证投资效益的最大化。
  ILM需要一个灵活、统一、可扩展、稳定且自动的存储基础设施。
  信息生命周期可分为六个阶段,它们分别为数据创建阶段、数据保护阶段、数据访问阶段、数据迁移阶段、数据归档阶段、数据回收(销毁)阶段。每个阶段对其信息管理的需求都是不一样的。数据创建阶段需要稳定、可靠、高可扩展能力的存储设备; 数据保护阶段将按照数据和应用系统的等级,采用不同的数据保护措施和技术,如磁盘备份、磁带备份、本地复制和远程复制等,以保证各类数据和信息得到及时和有效的保护; 数据访问阶段要按照数据和应用系统的等级实现在线、近线和离线三种访问方式; 数据迁移阶段要将数据从一个存储设备转移到另外一个存储设备,而且不影响系统的正常运行; 数据归档阶段可通过价格低、容量大的存储介质和系统,对要长期保存的数据进行存储。
  整个信息生命周期管理涉及信息存储的各项技术,包括网络存储平台、存储基础设施软件、信息复制、备份和恢复软件、基于策略的存储管理软件以及存储、数据优化服务等。
  当前传统电信运营商在集团、省和本地网三级管理模式下,数据大量集中于本地网,而集团和省两级系统的数据则严重缺乏,因此无论从业务管理还是技术实现的角度考虑,实现数据向省和集团系统的集中势在必行,这种趋势已经在一些新电信运营商实际运营过程中得到了充分验证。
  未来传统电信运营商的数据存储模式会在集团、省和本地网三级结构基础之上构筑,通过简化本地网存储应用,在省级实现数据存储高度集中的基础之上,实现全国范围内数据在集团的汇总。存储还是会以高带宽、高速的FC存储为主作为系统的支撑存储系统,而其他的增值业务,如视频监控、IPTV和彩铃等,因为投资成本及业务的快速变化会大量使用ISCSI的新型存储系统,NAS作为最灵活,最方便的存储系统也将大量使用在办公和一些增值业务上面。
  
  案例解析
  省级BOSS系统的存储分析
  
  BOSS系统由计费结算子系统、营业账务子系统、综合查询子系统和报表子系统组成,各子系统之间的数据交互关系如图所示。
  子系统组成
  公司业务支撑系统包括操作型和分析型系统两部分。分析型业务支撑系统主要由省级经营分析系统和地市数据集市系统构成; 操作型业务支撑系统由全省集中的BOSS计费结算子系统、BOSS营业账务子系统、门户网站系统、区域分散的客服系统构成。
  全省集中的计费结算子系统通过地市采集中心从各MSC、SCP、ISMG、SGSN、GGSN等网元采集用户服务记录之后进行计费结算处理,并把经过批价的用户清单发送到BOSS营账子系统,由BOSS营账子系统进行账务处理。
  全省集中的营账子系统实现营销、账务和客服功能。营业厅、代办点或客服中心的营业员通过BOSS系统进行用户业务受理,同时产生订单,并通过与HLR等网元的接口程序实现服务开通。同时,营账子系统对清单进行合账,产生账单,并进行销账,同时支持多种缴费方式,实现欠费管理等。客服热线子系统作为BOSS的组成部分,实现业务咨询、投诉和故障申告等功能。
  备份需求
  BOSS计费结算子系统、营业账务子系统以及关键业务容灾子系统都采用SAN架构,使用高端磁盘存储;
  目前备份/恢复系统分割成两个层次。一级备份设备为二级存储(虚拟磁带库VTL): 一方面,利用其高速的数据吞吐能力来匹配主机的数据处理能力,完成快速备份; 另一方面,匹配低速的物理磁带库。二级备份设备利用现有的物理磁带库,将数据备份到物理磁带,达到离线保存的目的。而全部的备份存储设备(包括VTL和物理磁带库)采用备份软件(Veritas NBU),在其管理和控制下工作。离线数据转存只在二级存储和物理磁带库之间进行,不占用主机资源,不受时间窗口控制,可灵活设置和选择。
  存储要求表
  BOSS系统数据(除详单外)全备份时间周期≤7天。
  BOSS系统详单数据全备份时间时间周期≤1个月。
  BOSS系统数据增量备份时间周期≤24小时。
  BOSS系统操作系统备份时间周期≤1个月。
  BOSS系统原始服务使用记录要求在线保存3个月、离线保存6个月。
  对异常服务使用记录要求在线保存3个月、离线保存1年。
  结算数据(包括漫游结算和网间结算)要求在线保存4个月、离线保存1年。
  省中心联机采集系统保存原始服务使用记录的时间3个月,其中在线保存7天。
  省中心保存详单3年,其中在线可查询6个月内的服务使用记录(含智能网服务使用记录)。
  省中心保存上发文件3个月,其中在线保存7天。
  省中心保存营业、账务及客户服务交易记录数据3年,其中在线可查询12个月内的记录。
  省中心保存账单3年。
  省中心在线永久保存客户资料(客户信息、用户信息、账户信息)、产品资料和统计报表的结果数据。
  在线保留扣费文件时间: 3个月; 离线备份: 2年。
  在线保留扣费结果记录时间: 3个月,离线备份: 2年。
  在线保留业务管理交易记录时间: 1年; 离线备份: 2年。
  在线保留话务控制交易记录时间: 1个月; 离线备份: 2年。
  
  链接
  电信行业存储的三大特性
  高可用性 在基础设施系统中,存储与服务器并存,一旦服务器发生故障,用户可正常访问数据,即要求服务器在发生故障的情况下保证存储系统中的数据可用。另外,要求系统运行具有很强的容错能力,以保持高可靠性。
  不间断运行即保证存储系统在不中断的情况下实现数据的备份、系统的维护和应用的不间断运转。
  高效的灾难恢复在用户的应用过程中,自然灾害和人为意外难以避免,在人为意外和自然灾害之后能够顺利地恢复存储系统。
  
  作者简介
  王纪奎 毕业于清华大学电气自动化专业,现为Cisco数据中心事业部大中华区首席技术官。之前,曾是IBM等多家外企的首席IT架构师。自2006年起任SNIA China(Storage Networking Industry Association,全球网络存储工业协会,中国)教育委员会主席,致力于推动网络存储技术的发展。
其他文献
本报综合报道日前,工业和信息化部公布了2011年第三季度电信运营情况。报告显示,电信用户规模持续扩大,服务能力稳步增强。截至2011年第三季度末,全国电话用户总数达到12.4亿户,较上季度增长2.5%;3G网络覆盖全国所有县级以上城市,用户突破1亿户,其中TD-SCDMA用户超过4000万户;互联网宽带接入用户达到1.5亿户,较上季度增长7.1%。全国电信网和互联网运行正常,网络接通率超过97%,
前不久,在辽宁沈阳召开的“文化共享工程2010年全国技术交流会”上,文化部副部长杨志今在书面讲话中透露,文化部将积极利用三网融合的技术趋势,今年要基本建成覆盖城乡的数字文化服务体系,努力实现“村村通”,预计数字资源将达到100TB。  该会议旨在总结交流辽宁进村入户工作经验,探索和推广资源传输及服务的先进模式,进一步推动文化共享工程更好更快地发展。参会的代表有文化共享工程全国各省级分中心、副省级支
在云计算大潮的背景下,高等院校信息化步入了一个全新的发展阶段。    日前,记者从第六届中国科研教育网格ChinaGrid年会上获悉,为了推动更多拥有雄厚科研力量的高等院校快速建设、充分利用高性能计算系统,全球最大的中国教育科研网格(ChinaGrid)开始进入第二期建设阶段。  步入全新发展阶段  自2002年开展一期建设到2010年,ChinaGrid已经建成了覆盖全国13个省市、20所高校的
本报综合报道 12月21日,360安全卫士官方微博称,有黑客在网上公开了CSDN网站用户数据库,包括600余万个明文的注册邮箱账号和密码,并请广大程序员尽快修改密码,包括CSDN账号密码以及采用相同注册邮箱和密码的其他网络账号,以免蒙受盗号损失。  21日下午,CSDN官方发表道歉声明称,对于CSDN用户账号密码数据库被泄露一事,经过初步分析,该库系2009年CSDN作为备份所用,由于未查明原因被
80后视点  谁掌握了标准的制定权,谁就掌握了技术和经济竞争的主动权。这个道理从政府到产业界都很明白。而出台本土标准,无疑将对我们掌控物联网的话语权起到重要作用。    物联网火了,能跟这个流行概念扯上关系的企业也都红了。但是,我国当下物联网建设现状却是: “关键技术有待突破、研发力量比较分散、体系架构尚未建立、商用模式有待完善”。  物联网中,RFID是最为关键的技术与产品。全球RFID专利布局
日前,第12届中国西部国际博览会暨2011中国西部国际采购商大会在成都召开。大唐电信携智慧城市、感知矿山、IT服务体系、智能终端等一系列解决方案和信息产品参加了此次展会。    展会期间,大唐电信展出的智慧城市解决方案主要针对现代城市运行管理,利用自身产业与技术优势,推出的包含“三层智能化 开放式架构 弹性应用环境”完整系统设计的城市信息化整体解决方案。开放式架构提供了感知融合、三网融合、IT基础
本报讯9月15日,由北京超图软件股份有限公司主办的“2011’SuperMap GIS技术大会”在北京举行。大会以“图启云涌,创新未来”为主题,从技术、应用和服务三方面展示了“云计算”时代国内地理信息的最新创新成果。超图软件在会上正式发布了全面支持云计算的新平台软件产品SuperMap GIS 6R(2012),以及超图地理信息云服务平台。该平台不仅可以帮助各行业用户将大型地理信息应用系统快速部署
近日,阿里巴巴正式公开“2010服务年”战略细节,启动“春雨行动”,调动5000多个渠道,向超过百万的地方小企业和个人网商群体,提供阿里巴巴专业上门服务。同时,阿里巴巴也宣布推出一款入门级服务的产品—诚信通(普及版),帮助更多被传统经济忽略或搁置的小企业,通过互联网技术和电子商务手段优化资源分配、寻找更大的内贸蓝海市场。  据介绍,除了北京、上海、广州、深圳、杭州等电子商务环境好的一线城市,此次阿
本报综合消息 近日,美国互联网流量监测机构Net Applications发布最新统计数据,2010年4月,微软IE浏览器全球市场份额首次跌破60%大关,跌至59.95%; 与此同时,当月谷歌Chrome浏览器全球市场份额增至6.7%。  Net Applications称,4月期间,仅谷歌Chrome全球市场份额增幅较大,当月其市场份额增长0.6%。这也是自谷歌Chrome于2008年9月发布以
金堆镇,位于陕西省华县东南端,地处秦岭深处四县市交界地带,东北与华阴毗邻,西接蓝田、南靠洛南。开车从西安出发,走高速、省道、盘山公路,要花上近3个小时的时间才能到达这个华山脚下的小镇。  据说金堆镇古时称金斗,因其附近的金矿日进“斗”金而取名,后来改为金堆,因四面青山环绕而为“城”所以又称“金堆城”。现如今,这个小镇真的可谓是“金子堆成的”,因为它已经成为中国的钼业之都。 世界第三、亚洲最大的钼采