论文部分内容阅读
摘要:针对中石化石油勘探相关数据急速膨胀,而传统备份系统难以应付,提出了一种基于云计算中心的备份系统部署架构,分析了四大备份对象,并分别提出了相应的备份策略,对未来备份系统的发展趋势进行了预测。
关键词:云计算中心;云备份;备份系统;云存储
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2013)29-6530-03
随着中石化石油勘探相关数据量的急速增长,对数据的存储空间提出了新的要求,要求能够实现数据的远程容灾和安全备份,一旦本地计算机系统发生重大的灾难时,可利用远程备份系统进行快速恢复。传统备份系统通常需要更多的时间(备份窗口)和管理操作(人员)来处理提高的容量,备份设备疲于应付,难以招架。面对如此严峻的形式,出现了在云计算中心的部署备份系统,通过利用分布式文件系统、网格技术或集群应用等技术,使用现代通信技术将网络中不同类型的存储设备连接起来,使用应用软件实现这些设备的协同工作,使得这些设备可以共同向外提供业务访问和数据存储等功能。
1 备份系统部署架构
某石油勘探研究院经过多年的信息化系统建设之后,业务系统规模迅速扩大,已经逐渐建立起以图书档案管理系统、财务系统、OA、邮件服务器、文件服务器为核心的信息系统,核心系统都运行在Oracle数据库之上,核心业务系统由三套Oracle 10g RAC组成,一套存放在电信机房内,另两套存放在自己建设的机房内,目前需要做备份的系统主要是针对在自己机房内部的两套系统,这两套备份系统都是由备份主机,备份存储和备份软件组成,操作系统都是LINUX,设备采用IP SAN、NAS和FC SAN多种存储架构相结合的方式,满足用户数据集中存储和共享的需求。该备份系统具备完整而强大的备份功能,可满足从PC到服务器、从操作系统到应用程序再到数据、从Windows 到Linux 再到Unix环境下的集中备份。
云备份系统基于云存储原理设计,通过在网络中部署备份服务器,采用应用软件将网络设备进行连接和整合,实现统一备份、统一调度、高效率恢复、智能化管理等功能。云备份系统的结构模型主要由存储层、基础管理层、应用接口层和访问层组成,如图1所示。
1)存储层:存储层是云备份系统的基础层,其通过利用存储虚拟化技术和通信技术将各种分散的存储设备连接起来实现的,利用FC光纤通信、互联网或广域网将分散的FC光纤通道存储设备、DAS存储设备、IP存储设备(NAS和 iSCSI)连接在一起,然后使用存储虚拟化技术在备份服务器和存储设备之间建立一个虚拟层,该虚拟层对所有存储设备进行控制及管理,并对备份服务器提供存储服务功能。
2)基础管理层:基础管理层是云备份系统的核心部分,其对外提供强大数据访问性能,利用网格计算、分布式文件系统和集群等技术实现云备份中多个存储设备的协同工作。
3)应用接口层:应用接口层是云备份系统中最灵活的部分,不同的云存储运营商具有不同应用服务接口及应用服务,比如微盘、115网盘、百度网盘、爱数远程数据备份容灾平台、EMC远程数据备份容灾平台、IPTV和VOD视频点播平台、视频监控平台等提供的应用服务接口及应用服务都不同。
4)访问层:通过访问层向授权用户提供云备份服务,通常,不同的云备份运营单位提供的访问手段和访问类型也不同,但任何一个授权用户要想使用云备份服务必须先通过公用应用接口验证登录。
2 备份对象
2.1 操作系统备份
操作系统的备份是业界公认的高技术门槛,包括系统备份、灾难恢复,其中灾难恢复中,又以异机恢复为最难。系统备份技术包括文件备份技术、系统数据一致性技术、系统恢复环境组成。操作系统的备份,由于备份时间较长,前后备份的不同文件之间存在关联性,而相關的多个文件备份的时间不同,导致存在着数据一致性的问题,并会引起系统的某些故障。操作系统灾备技术为数据一致性采取了相应机制,对备份过程中的IO操作也进行备份,恢复的时候将数据恢复之后再将IO操作重新写入到系统中,保证了系统的状态跟备份结束时的状态一致,从而极大的降低了数据一致性引发的某些系统或应用问题。操作系统备份通常都需要支持Windows、Unix和Linux环境下的多种操作系统在线热备和灾难恢复(包括异机恢复)。
2.2 虚拟机(VMware)备份
虚拟化技术在各级企业中应用越来越广泛,流行的虚拟机软件有VMware(VMWare ACE)、Virtual Box和Virtual PC,它们都能在Windows系统上虚拟出多个计算机;其中,VMware在虚拟化领域无疑是领先者,对于VMware虚拟化产品的数据保护,有着切实的需求和价值。VMware虚拟架构具有降低硬件成本和运营成本,增加了硬件的利用率,快速统一部署服务器,提高了劳动生产率,降低服务器电源开销,提高了系统的可用性等优点。
在用户环境内安装备份存储柜及客户端,当虚拟化平台、客户端以及管理控制台成功连接后,就可以进行虚拟化备份了。
要创建虚拟化备份任务,需首先在管理控制台上进行虚拟化配置,主要包括虚拟化平台的IP、用户名、密码;然后创建虚拟化备份任务,此时操作界面内会根据获取到的虚拟化平台信息已列表树的形式显示该虚拟化平台内的所有虚拟机,选择需要进行备份的虚拟机创建备份任务;任务创建完成后,客户端会将所选择的虚拟机信息(包括虚拟机配置信息、虚拟磁盘集合的信息),然后管理控制台把数据发送给OFS保存,完成虚拟机备份。
目前,虚拟化平台备份恢复支持虚拟机级别的备份恢复,具体包括:完全备份,增量备份,恢复到已有的虚拟机和恢复到新建的虚拟机。
2.3 数据库备份
数据库定时备份由管理控制台、介质服务器、客户端三者参与,其中,管理控制台提供集中管理备份、恢复等功能,是备份系统的调度控制和管理中心;介质服务器接受来自客户端的备份数据和来自管理控制台的管理和控制;客户端负责响应管理控制台的命令,执行数据备份和恢复,其部署在需要被备份的服务器或者PC上;其工作过程通常为:先由Console(管理控制台)向Client(客户端)发备份命令,通知相应的客户端准备就绪,当前需要备份的Client(客户端)向数据库Recovery Management发送备份命令,数据库开始热备,通过“管道”将备份数据传输给Client,Client接收到引擎的控制信号后,与介质服务器连接,并将备份数据传输到介质服务器端。如在Oracle定时备份中,命令通过Recovery Management传递给数据库,其他数据库则通过API接口完成。 2.4 文件系统备份
文件定时备份技术也是由客户端、介质服务器、管理控制台组成,首先备份事件由管理控制台的引擎触发,该备份事件通知相应的客户端准备就绪,然后将任务中的客户端按照并发数量和优先级进行排序,多个客户端可以并发执行同一个备份操作;客户端只有接收到引擎的控制信号后,才能与介质服务器建立连接,才能将备份数据传输到介质服务器端。在每个客户端上,文件备份功能在数据源中划定需要备份的数据,然后根据策略(包括执行哪种类型的备份、什么时间发起备份等)完成数据备份。文件备份类型包括完全备份,增量备份,归档位增量备份,文件级增量备份。
3 备份策略
3.1 操作系统备份
1)该主机采用LAN-Free方式进行数据备份,每月一次基于操作系统级数据备份,备份到虚拟带库,保留3个月,每个月将备份数据Vault到物理带库,保存6个月;
2)每个工作日深夜11:30开始做全备份, 备份数据保存三个月,每天中午仅对日志文件做备份;
3)每月1日对系统进行文件级的全备份,此备份包含重要的系统文件和全部的数据库及日志文件。如当月1日为双休日或法定节假日则顺延至下一个工作日。该日深夜的日备份取消;
4)一些操作导致数据变更(如系统升级)后,需要在操作完成后立即手动进行一次全备份,需要保存三个月的备份数据;
5)定期采用操作系统提供的备份工具(如mksysb)对小型机(IBM、HP和Solaris等)进行备份,如mksysb(AIX)等,此外,为了完成独立于集中备份系统之外的保护机制,还需使用光盘刻录机或内置磁带机进行手工备份。
3.2 虚拟机(vmware)备份
由于vmware采用了重复数据消重技术,则可采用每天全备份的单一备份策略。
1)vmware映像备份 :每天一次全备份,安排在业务不繁忙时进行;配置支持改变块跟踪(CBT)备份模式,每天全备份实际上仅需备份改变块;每天备份自动复制到异地。
2)客户机备份 :对于安装了数据库的虚拟机,通过安装vmware备份客户端软件和数据库备份模块进行备份,同样采用每天一次全备份策略;对于某些需要单独备份文件系统的虚拟机,也采用客户机备份模式,可采取全量方式每天进行备份。
3.3 数据库备份
1)采用多级增量备份方案;
2)数据库零级备份保留周期与数据库逻辑日志的备份数据保留周期一致;
3)數据量在50GB以上的,每周一次全备份,每天进行一次增量备份,备份数据保留一个月,每月一次将所有备份数据Vault到物理带库,保存一年;
4)数据量在50GB以下每天进行一次全备份,备份数据保留一周,每周一次将所有备份数据保存到物理带库,保存一年。
3.4 文件系统备份
1)每月进行一次全备份,每周一次将所有备份数据保存到物理带库,备份数据保存三个月;
2)一些操作导致数据变更(如系统升级)后,需要在操作完成后立即手动进行一次全备份,需要保存三个月的备份数据。
4 未来备份系统的发展趋势
云备份系统的存储设备非常多,存储技术相当复杂,把所有的存储设备整合在一起非常困难,注定了云备用系统还需要走非常长的路,未来备份系统的发展将是数据安全和保密性高、高效管理数据、数据备份速度飞快的备份系统,未来备份系统将重点解决几个问题。
1)备份系统的数据安全和保密:安全性和保密性将是未来云备份系统优先考虑解决的问题。
2)数据管理 :云备份系统的数据非常大,把这些海量数据进行优化管理将会是一个大难题。
3)基础设施建设:云备份系统需要高速的网络速度支持,宽带瓶颈将是制约云备份系统的难题,未来需要解决这个问题。
参考文献:
[1] 陶水龙.档案数字资源云备份策略的分析与研究[J].档案学通讯,2012(4).
[2] 王欢.支持连续数据保护的云备份系统架构设计[J].计算机工程与应用,2012(1).
[3] 姜学峰.基于异步数据云的云备份平台[J].计算机系统应用,2012(8).
[4] 孙敏.在局域网中创建云备份系统[J].电脑知识与技术-经验技巧,2012(10).
关键词:云计算中心;云备份;备份系统;云存储
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2013)29-6530-03
随着中石化石油勘探相关数据量的急速增长,对数据的存储空间提出了新的要求,要求能够实现数据的远程容灾和安全备份,一旦本地计算机系统发生重大的灾难时,可利用远程备份系统进行快速恢复。传统备份系统通常需要更多的时间(备份窗口)和管理操作(人员)来处理提高的容量,备份设备疲于应付,难以招架。面对如此严峻的形式,出现了在云计算中心的部署备份系统,通过利用分布式文件系统、网格技术或集群应用等技术,使用现代通信技术将网络中不同类型的存储设备连接起来,使用应用软件实现这些设备的协同工作,使得这些设备可以共同向外提供业务访问和数据存储等功能。
1 备份系统部署架构
某石油勘探研究院经过多年的信息化系统建设之后,业务系统规模迅速扩大,已经逐渐建立起以图书档案管理系统、财务系统、OA、邮件服务器、文件服务器为核心的信息系统,核心系统都运行在Oracle数据库之上,核心业务系统由三套Oracle 10g RAC组成,一套存放在电信机房内,另两套存放在自己建设的机房内,目前需要做备份的系统主要是针对在自己机房内部的两套系统,这两套备份系统都是由备份主机,备份存储和备份软件组成,操作系统都是LINUX,设备采用IP SAN、NAS和FC SAN多种存储架构相结合的方式,满足用户数据集中存储和共享的需求。该备份系统具备完整而强大的备份功能,可满足从PC到服务器、从操作系统到应用程序再到数据、从Windows 到Linux 再到Unix环境下的集中备份。
云备份系统基于云存储原理设计,通过在网络中部署备份服务器,采用应用软件将网络设备进行连接和整合,实现统一备份、统一调度、高效率恢复、智能化管理等功能。云备份系统的结构模型主要由存储层、基础管理层、应用接口层和访问层组成,如图1所示。
1)存储层:存储层是云备份系统的基础层,其通过利用存储虚拟化技术和通信技术将各种分散的存储设备连接起来实现的,利用FC光纤通信、互联网或广域网将分散的FC光纤通道存储设备、DAS存储设备、IP存储设备(NAS和 iSCSI)连接在一起,然后使用存储虚拟化技术在备份服务器和存储设备之间建立一个虚拟层,该虚拟层对所有存储设备进行控制及管理,并对备份服务器提供存储服务功能。
2)基础管理层:基础管理层是云备份系统的核心部分,其对外提供强大数据访问性能,利用网格计算、分布式文件系统和集群等技术实现云备份中多个存储设备的协同工作。
3)应用接口层:应用接口层是云备份系统中最灵活的部分,不同的云存储运营商具有不同应用服务接口及应用服务,比如微盘、115网盘、百度网盘、爱数远程数据备份容灾平台、EMC远程数据备份容灾平台、IPTV和VOD视频点播平台、视频监控平台等提供的应用服务接口及应用服务都不同。
4)访问层:通过访问层向授权用户提供云备份服务,通常,不同的云备份运营单位提供的访问手段和访问类型也不同,但任何一个授权用户要想使用云备份服务必须先通过公用应用接口验证登录。
2 备份对象
2.1 操作系统备份
操作系统的备份是业界公认的高技术门槛,包括系统备份、灾难恢复,其中灾难恢复中,又以异机恢复为最难。系统备份技术包括文件备份技术、系统数据一致性技术、系统恢复环境组成。操作系统的备份,由于备份时间较长,前后备份的不同文件之间存在关联性,而相關的多个文件备份的时间不同,导致存在着数据一致性的问题,并会引起系统的某些故障。操作系统灾备技术为数据一致性采取了相应机制,对备份过程中的IO操作也进行备份,恢复的时候将数据恢复之后再将IO操作重新写入到系统中,保证了系统的状态跟备份结束时的状态一致,从而极大的降低了数据一致性引发的某些系统或应用问题。操作系统备份通常都需要支持Windows、Unix和Linux环境下的多种操作系统在线热备和灾难恢复(包括异机恢复)。
2.2 虚拟机(VMware)备份
虚拟化技术在各级企业中应用越来越广泛,流行的虚拟机软件有VMware(VMWare ACE)、Virtual Box和Virtual PC,它们都能在Windows系统上虚拟出多个计算机;其中,VMware在虚拟化领域无疑是领先者,对于VMware虚拟化产品的数据保护,有着切实的需求和价值。VMware虚拟架构具有降低硬件成本和运营成本,增加了硬件的利用率,快速统一部署服务器,提高了劳动生产率,降低服务器电源开销,提高了系统的可用性等优点。
在用户环境内安装备份存储柜及客户端,当虚拟化平台、客户端以及管理控制台成功连接后,就可以进行虚拟化备份了。
要创建虚拟化备份任务,需首先在管理控制台上进行虚拟化配置,主要包括虚拟化平台的IP、用户名、密码;然后创建虚拟化备份任务,此时操作界面内会根据获取到的虚拟化平台信息已列表树的形式显示该虚拟化平台内的所有虚拟机,选择需要进行备份的虚拟机创建备份任务;任务创建完成后,客户端会将所选择的虚拟机信息(包括虚拟机配置信息、虚拟磁盘集合的信息),然后管理控制台把数据发送给OFS保存,完成虚拟机备份。
目前,虚拟化平台备份恢复支持虚拟机级别的备份恢复,具体包括:完全备份,增量备份,恢复到已有的虚拟机和恢复到新建的虚拟机。
2.3 数据库备份
数据库定时备份由管理控制台、介质服务器、客户端三者参与,其中,管理控制台提供集中管理备份、恢复等功能,是备份系统的调度控制和管理中心;介质服务器接受来自客户端的备份数据和来自管理控制台的管理和控制;客户端负责响应管理控制台的命令,执行数据备份和恢复,其部署在需要被备份的服务器或者PC上;其工作过程通常为:先由Console(管理控制台)向Client(客户端)发备份命令,通知相应的客户端准备就绪,当前需要备份的Client(客户端)向数据库Recovery Management发送备份命令,数据库开始热备,通过“管道”将备份数据传输给Client,Client接收到引擎的控制信号后,与介质服务器连接,并将备份数据传输到介质服务器端。如在Oracle定时备份中,命令通过Recovery Management传递给数据库,其他数据库则通过API接口完成。 2.4 文件系统备份
文件定时备份技术也是由客户端、介质服务器、管理控制台组成,首先备份事件由管理控制台的引擎触发,该备份事件通知相应的客户端准备就绪,然后将任务中的客户端按照并发数量和优先级进行排序,多个客户端可以并发执行同一个备份操作;客户端只有接收到引擎的控制信号后,才能与介质服务器建立连接,才能将备份数据传输到介质服务器端。在每个客户端上,文件备份功能在数据源中划定需要备份的数据,然后根据策略(包括执行哪种类型的备份、什么时间发起备份等)完成数据备份。文件备份类型包括完全备份,增量备份,归档位增量备份,文件级增量备份。
3 备份策略
3.1 操作系统备份
1)该主机采用LAN-Free方式进行数据备份,每月一次基于操作系统级数据备份,备份到虚拟带库,保留3个月,每个月将备份数据Vault到物理带库,保存6个月;
2)每个工作日深夜11:30开始做全备份, 备份数据保存三个月,每天中午仅对日志文件做备份;
3)每月1日对系统进行文件级的全备份,此备份包含重要的系统文件和全部的数据库及日志文件。如当月1日为双休日或法定节假日则顺延至下一个工作日。该日深夜的日备份取消;
4)一些操作导致数据变更(如系统升级)后,需要在操作完成后立即手动进行一次全备份,需要保存三个月的备份数据;
5)定期采用操作系统提供的备份工具(如mksysb)对小型机(IBM、HP和Solaris等)进行备份,如mksysb(AIX)等,此外,为了完成独立于集中备份系统之外的保护机制,还需使用光盘刻录机或内置磁带机进行手工备份。
3.2 虚拟机(vmware)备份
由于vmware采用了重复数据消重技术,则可采用每天全备份的单一备份策略。
1)vmware映像备份 :每天一次全备份,安排在业务不繁忙时进行;配置支持改变块跟踪(CBT)备份模式,每天全备份实际上仅需备份改变块;每天备份自动复制到异地。
2)客户机备份 :对于安装了数据库的虚拟机,通过安装vmware备份客户端软件和数据库备份模块进行备份,同样采用每天一次全备份策略;对于某些需要单独备份文件系统的虚拟机,也采用客户机备份模式,可采取全量方式每天进行备份。
3.3 数据库备份
1)采用多级增量备份方案;
2)数据库零级备份保留周期与数据库逻辑日志的备份数据保留周期一致;
3)數据量在50GB以上的,每周一次全备份,每天进行一次增量备份,备份数据保留一个月,每月一次将所有备份数据Vault到物理带库,保存一年;
4)数据量在50GB以下每天进行一次全备份,备份数据保留一周,每周一次将所有备份数据保存到物理带库,保存一年。
3.4 文件系统备份
1)每月进行一次全备份,每周一次将所有备份数据保存到物理带库,备份数据保存三个月;
2)一些操作导致数据变更(如系统升级)后,需要在操作完成后立即手动进行一次全备份,需要保存三个月的备份数据。
4 未来备份系统的发展趋势
云备份系统的存储设备非常多,存储技术相当复杂,把所有的存储设备整合在一起非常困难,注定了云备用系统还需要走非常长的路,未来备份系统的发展将是数据安全和保密性高、高效管理数据、数据备份速度飞快的备份系统,未来备份系统将重点解决几个问题。
1)备份系统的数据安全和保密:安全性和保密性将是未来云备份系统优先考虑解决的问题。
2)数据管理 :云备份系统的数据非常大,把这些海量数据进行优化管理将会是一个大难题。
3)基础设施建设:云备份系统需要高速的网络速度支持,宽带瓶颈将是制约云备份系统的难题,未来需要解决这个问题。
参考文献:
[1] 陶水龙.档案数字资源云备份策略的分析与研究[J].档案学通讯,2012(4).
[2] 王欢.支持连续数据保护的云备份系统架构设计[J].计算机工程与应用,2012(1).
[3] 姜学峰.基于异步数据云的云备份平台[J].计算机系统应用,2012(8).
[4] 孙敏.在局域网中创建云备份系统[J].电脑知识与技术-经验技巧,2012(10).