论文部分内容阅读
摘 要:原有X86服务器的系统备份和数据备份均以直连带机或使用磁带库等设备采用文件级备份技术进行,备份架构较为分散,不易进行集中管理和控制,且对于文件数据量大、文件结构复杂的数据,备份作业时间超长,无法满足生产业务对备份时间的要求。通过建立服务器集中备份系统,能够将备份策略及相关配置下发到各备份节点并集中收集备份数据,实现了所有X86架构服务器备份作业的集中管理与监控。同时该系统可通过块级文件备份技术对目标服务器的所有逻辑盘创建映像文件,代替原有文件级备份方式,大幅提升了对大规模数据的备份性能。
关键词:X86服务器;集中备份系统;块级备份技术
中图分类号:TP309.3
该文章主要包括X86服务器集中备份系统的建立和大规模数据文件备份性能优化两部分:
1 X86服务器集中備份系统的建立
本公司涉及重要生产业务的X86服务器共有100多台,另有200台左右的虚拟机,需要针对这些服务器的操作系统和关键数据进行备份。原有备份架构是通过服务器直连磁带机备份操作系统以及后端磁带库备份数据的方式组成。随着服务器数量的增加,备份客户端的增多,磁带库中的带机资源有限,备份作业调度日益复杂,备份资源等待情况日渐增多,不能保证每一个节点的备份及时完成,也对其他主机平台的备份执行产生了影响。上述情况要求我们必须对众多的X86架构服务器备份进行统筹考虑,统筹规划,结合先进技术理念来解决上述问题。
如上图所示,首先是建立一套服务器备份作业控制中心。通过统一的备份管理和远程触发,将各服务器节点的备份作业集中到一个统一的备份存储服务器上,让所有节点与该平台建立网络通信,所有备份操作均是从各个节点通过局域网将数据备份到备份存储服务器上。每个节点按照备份策略和命名规则在备份服务器上生成压缩过的备份文件。为了最大限度提高存储服务器的磁盘IO性能,我们选用了专门针对网络存储进行优化的Windows Storage Server操作系统构建备份存储服务器,保证了集中备份的处理性能。为了避免备份存储服务器上的备份随着备份节点的增多、备份需求的增加带来的备份数据量的线性增长,利用备份保存周期性的特点以及备份数据保护要求,借鉴数据生命周期的管理思路,将原有磁带库作为备份存储服务器的后端归档设备,使得备份服务器上的数据能够定期进行保存和存储转移,从而实现分级数据管理,使得磁盘空间的增长保持在一定的合理水平上,节省了数据存储空间,提高了数据备份效率。采用此种架构体系后,可以在备份存储服务器上集中配置和管理每一个节点的备份策略计划,并对作业完成情况进行监控,所有备份结果也可通过邮件自动发送给管理人员,减少了管理难度和成本。
2 X86服务器大规模数据文件备份性能优化
公司有一个重要的生产业务需要24小时连续运转,用户要求该业务相关的报表服务器和应用服务器上的数据每周一次全备、每天增量备份。由于该业务应用架构复杂,业务功能模块繁多,上述服务器上的数据结构和数据量都比较复杂和庞大,其特点是数据量大(约600GB)、文件数量多(百万级)、目录层级多(大于256级),而原有的磁带库备份方式是基于文件级的,需要对数据文件一个一个的读取,全备耗时需要约40-60个小时,增量备份则需要10多个小时,完全无法满足用户备份的要求。
通过对原有备份方式及备份需求的分析研究,使用基于磁盘底层数据块备份技术的软件,对数据所在逻辑盘进行整盘备份成一个独立的映像文件,使得全备时间被控制在2个小时以内,增量备份控制在1个小时以内,且备份过程无需重启操作系统,业务可持续运行,对用户完全透明。该技术省略了文件扫描的过程,备份效率大幅提高,减少了对用户的影响,满足了用户的备份要求。
同时,该软件能够将备份后生成的映像文件转换成常用的虚拟机文件,实现物理机向虚拟机(P2V)的平滑过渡,有利于虚拟化平台的实施。
3 存在的问题及改进措施
利用该软件进行恢复操作时需要将备份的文件恢复到已存在的操作系统其他分区,且该系统中已安装该软件。上述操作系统及软件的安装以及软件的配置等步骤均需占用了数据恢复时间。
该软件可制作引导系统的光盘ISO文件,刻盘后可直接从裸机引导进入数据恢复界面,同时配合移动硬盘设备(可将备份映像文件放置该磁盘中),直接从裸机恢复系统直至正常运转,减少操作系统、软件安装以及备份文件复制过程带来的时间消耗。
4 集中备份系统带来的改进
建立了集中化备份系统,不仅降低了管理的复杂度,还提升了大规模数据的备份性能:
4.1 集中部署和管理备份策略
通过集中管理平台的建立,解决了备份作业分散配置、备份作业调度延迟、备份数据无法集中管理带来的各种弊端。
4.2 保证集中备份处理能力
使用专业化网络存储操作系统Windows Storage Server作为备份存储服务器,提高了集中备份磁盘处理性能。
4.3 大幅提升备份速度
使用具备块级备份功能的软件替代原有文件级备份方式,将原来数十小时的备份时间缩短到个位数。
4.4 降低对业务的影响
在对逻辑盘进行块级备份期间,资源开销较低,系统无需宕机,将生产业务影响减小到最低。
4.5 多级存储
未使用专用的VTL、ILM软件或工具,使用类似VTL和ILM的功能,不仅降低了带库后期针对X86服务器备份的采购成本,也为备份数据建立了多重保障措施。
参考文献:
[1]张雪冰,张延园.SAN异构存储共享系统实现技术研究[J].计算机工程,2006(03).
作者单位:中国航空结算有限责任公司系统运行部,北京 100028
关键词:X86服务器;集中备份系统;块级备份技术
中图分类号:TP309.3
该文章主要包括X86服务器集中备份系统的建立和大规模数据文件备份性能优化两部分:
1 X86服务器集中備份系统的建立
本公司涉及重要生产业务的X86服务器共有100多台,另有200台左右的虚拟机,需要针对这些服务器的操作系统和关键数据进行备份。原有备份架构是通过服务器直连磁带机备份操作系统以及后端磁带库备份数据的方式组成。随着服务器数量的增加,备份客户端的增多,磁带库中的带机资源有限,备份作业调度日益复杂,备份资源等待情况日渐增多,不能保证每一个节点的备份及时完成,也对其他主机平台的备份执行产生了影响。上述情况要求我们必须对众多的X86架构服务器备份进行统筹考虑,统筹规划,结合先进技术理念来解决上述问题。
如上图所示,首先是建立一套服务器备份作业控制中心。通过统一的备份管理和远程触发,将各服务器节点的备份作业集中到一个统一的备份存储服务器上,让所有节点与该平台建立网络通信,所有备份操作均是从各个节点通过局域网将数据备份到备份存储服务器上。每个节点按照备份策略和命名规则在备份服务器上生成压缩过的备份文件。为了最大限度提高存储服务器的磁盘IO性能,我们选用了专门针对网络存储进行优化的Windows Storage Server操作系统构建备份存储服务器,保证了集中备份的处理性能。为了避免备份存储服务器上的备份随着备份节点的增多、备份需求的增加带来的备份数据量的线性增长,利用备份保存周期性的特点以及备份数据保护要求,借鉴数据生命周期的管理思路,将原有磁带库作为备份存储服务器的后端归档设备,使得备份服务器上的数据能够定期进行保存和存储转移,从而实现分级数据管理,使得磁盘空间的增长保持在一定的合理水平上,节省了数据存储空间,提高了数据备份效率。采用此种架构体系后,可以在备份存储服务器上集中配置和管理每一个节点的备份策略计划,并对作业完成情况进行监控,所有备份结果也可通过邮件自动发送给管理人员,减少了管理难度和成本。
2 X86服务器大规模数据文件备份性能优化
公司有一个重要的生产业务需要24小时连续运转,用户要求该业务相关的报表服务器和应用服务器上的数据每周一次全备、每天增量备份。由于该业务应用架构复杂,业务功能模块繁多,上述服务器上的数据结构和数据量都比较复杂和庞大,其特点是数据量大(约600GB)、文件数量多(百万级)、目录层级多(大于256级),而原有的磁带库备份方式是基于文件级的,需要对数据文件一个一个的读取,全备耗时需要约40-60个小时,增量备份则需要10多个小时,完全无法满足用户备份的要求。
通过对原有备份方式及备份需求的分析研究,使用基于磁盘底层数据块备份技术的软件,对数据所在逻辑盘进行整盘备份成一个独立的映像文件,使得全备时间被控制在2个小时以内,增量备份控制在1个小时以内,且备份过程无需重启操作系统,业务可持续运行,对用户完全透明。该技术省略了文件扫描的过程,备份效率大幅提高,减少了对用户的影响,满足了用户的备份要求。
同时,该软件能够将备份后生成的映像文件转换成常用的虚拟机文件,实现物理机向虚拟机(P2V)的平滑过渡,有利于虚拟化平台的实施。
3 存在的问题及改进措施
利用该软件进行恢复操作时需要将备份的文件恢复到已存在的操作系统其他分区,且该系统中已安装该软件。上述操作系统及软件的安装以及软件的配置等步骤均需占用了数据恢复时间。
该软件可制作引导系统的光盘ISO文件,刻盘后可直接从裸机引导进入数据恢复界面,同时配合移动硬盘设备(可将备份映像文件放置该磁盘中),直接从裸机恢复系统直至正常运转,减少操作系统、软件安装以及备份文件复制过程带来的时间消耗。
4 集中备份系统带来的改进
建立了集中化备份系统,不仅降低了管理的复杂度,还提升了大规模数据的备份性能:
4.1 集中部署和管理备份策略
通过集中管理平台的建立,解决了备份作业分散配置、备份作业调度延迟、备份数据无法集中管理带来的各种弊端。
4.2 保证集中备份处理能力
使用专业化网络存储操作系统Windows Storage Server作为备份存储服务器,提高了集中备份磁盘处理性能。
4.3 大幅提升备份速度
使用具备块级备份功能的软件替代原有文件级备份方式,将原来数十小时的备份时间缩短到个位数。
4.4 降低对业务的影响
在对逻辑盘进行块级备份期间,资源开销较低,系统无需宕机,将生产业务影响减小到最低。
4.5 多级存储
未使用专用的VTL、ILM软件或工具,使用类似VTL和ILM的功能,不仅降低了带库后期针对X86服务器备份的采购成本,也为备份数据建立了多重保障措施。
参考文献:
[1]张雪冰,张延园.SAN异构存储共享系统实现技术研究[J].计算机工程,2006(03).
作者单位:中国航空结算有限责任公司系统运行部,北京 100028