针对海量小文件非结构化数据的NAS灾备新方案

来源 :计算机与网络 | 被引量 : 0次 | 上传用户:yh124712
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  在公检法及互联网电商等组织机构的机房里,存在着大量的NAS存储架构。虽然NAS本身具有一定的文件共享和数据备份功能,但是随着非结构化数据与各类小文件的日积月累,这些功能已经难以满足用户对关键数据实时性与便捷性等方面的灾备需求。
  为了更加全面地展示NAS灾备新方案的特征,首先介绍NAS的相关知识。
  NAS存储及应用场景
  NAS(Network Attached Storage)是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。它基于标准网络协议实现数据传输,为网络中的Windows / Linux / macOS等各种不同操作系统的计算机提供文件共享和数据备份。
  NAS的优点很多,包括部署简单,可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中;NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户;在高效的文件共享任务中,例如UNIX中的NFS和Windows NT中的CIFS,其中基于网络的文件级锁定提供了高级并发访问保护的功能;能够充分利用现有的网络资源,提供强劲的存储容量的扩展和多台服务器对海量文件级的数据读写;另外,NAS存储还能降低存储资源开销及整体拥有的成本等等。
  简单地说,NAS存储很好地解决了文件级(file)数据集中存储与共享的用户需求。因此NAS能够满足那些希望降低存储成本但又无法承受SAN昂贵价格的中小企业的需求,具有相当高的性价比,特别适合对数据安全性高,具有海量数据存储需求以及组织网络中存在异构平台的机构,在企业办公自动化OA系统、医疗数据、影楼影像数据、互联网电商平台和公检法卷宗类海量小文件等场景具有强烈的需求。
  NAS灾备在新环境下的挑战
  如上所述,NAS具有一定的数据备份的功能,包括本地备份(将电脑上的数据通过局域网备份到NAS中)、异地备份(将异地电脑上的数据通过广域网备份到NAS中)和NAS间备份(NAS与NAS之间复制数据)等等。
  但是这些备份都是基于传统的备份方案进行,具有操作繁琐、需要备份时间窗口,主备端配置一致等软肋,无法满足组织机构业务数据量快速增长的实时备份以及经济高效的需求。英方工程师根据实际的场景分析,总结了NAS灾备在大数据等新环境下的挑战:
  (1)数据量越来越大,而现有的NAS系统是在文件管理系统层次进行复制,这决定了要么就全部复制,要么就都不复制,但在实际场景中,用户更希望只对相关的文件进行实时备份,但是因为前端业务集群服务器主机可能会同时读写同一个NAS文件夹中的数据,造成无法实现数据的实时保护。
  (2)在备份海量小文件时,例如两千万的数据量,传统的灾备方式在进行实时复制时,无法确保复制数据时在主备两端的数据一致性,以及在第一次全镜像的同时,无法确保镜像过程中增量部分的同步。
  (3)异地备份难,数据量的增加使得带宽成本加大,同時用户无法接受定期和长时间的备份操作等过程,数据安全性面临的风险大。
  基于i2NAS的灾备新方案
  在NAS存储方案中,用户大多使用的方案是多个前端业务的集群共享同一个NAS存储的目录,它们拥有共同读写机制,确保不会写冲突。这样的读写机制确保了文件的唯一性,这种方案可以快捷扩展前端集群节点的数量,以增加用户对实际的访问量的需求。
  下面介绍的i2NAS灾备新方案,正是在这样的环境进行的。
  i2NAS是英方股份针对NAS数据灾备的新方案,它是针对NAS无法安装客户端、数据非实时同步、RTO高和需要消耗大量主机资源等特点进行了灾备技术上的创新,为用户提供百TB级别数据灾备保护的新方案。
  i2NAS具有定时与准实时两种方案,由于篇幅有限,在此只介绍更适合于针对海量小文件/非结构化数据的准实时方案。之所以称为准实时方案,是因为i2NAS是基于英方字节级复制同步软件i2COOPY的技术原理,由于i2COOPY实时复制在一般服务器下能够做到毫秒级数据同步,而在NAS服务器集群环境下,i2COOPY通过在生产端指定一个服务器作为其他服务器IO变化的合并节点,能够在备端的服务器达到秒级同步读写的目的。
  (1)在各业务服务器上安装客户端;
  (2)英方客户端会将各业务服务器上修改的文件名和该文件的存储路径发生给“英方NAS汇聚服务器”;
  (3)由英方NAS汇聚服务器实时读取NAS数据;
  (4)发送给灾备端。
  由于该解决方案是旁路监听,因此对主业务的节点变化是安装客户端,但是客户端本身不产生性能开销,只是监控对应服务器会对目录当中的某个文件进行修改。假如集群中有三台服务器,当第一台修改完了,会传输到英方NAS监控服务器上,然后会优先进行传输;当第二台修改完后,就会进入文件队列传输的等待过程,依次类推……英方监控服务器得到更改确定的指令后,会第一时间去读对应目录下的名称,然后经过TCP/IP网络发送到灾备端的服务器。该方案既解决了实时同步的问题,又解决了海量数据情况下数据复制时间窗口的问题,确保当生产环境NAS存储出现故障时的数据安全,业务连续。
  i2NAS灾备新方案6大优势
  (1)无备份窗口,可实现准实时的数据传输,可支持百TB级别的数据量保护;
  (2)对用户现有的业务架构无调整,只增加同步主机、灾备主机,同时在客户的业务环境上安装客户端,如果使用存储级的复制,需要对存储本身进行调整;
  (3)对用户的资源系统没有多余的开销,因为去同步主机才会产生数据的读取,对源端的业务没有压力,对I/O的消耗比较小;
  (4)支持异地数据复制,同时备端数据可见,因为主备端的数据与文件目录相同,可随时查看数据的一致性;
  (5)备端数据随时可用,当用户需要容灾演练,查看备端海量的数据的启动时间非常短;
  (6)弥补现有解决方案中无法针对使用NAS作为存储冗余架构的不足,英方提供全场景解决方案,能够满足用户同时做实时数据复制备份、非结构数据同步、高可用等容灾备份的综合需求。
  目前,英方i2NAS数据灾备新方案已经成功用于海通证券影像数据同步、长安信托OA、多金系统、车贷和信贷等系统项目。而在针对拥有海量小文件/非结构化数据类型的金融、公检法和互联网等行业客户,i2NAS数据灾备方案在结合高可用等灾备方案后,可以为用户实现全场景的灾备服务。
其他文献
分析DVWA中存在SQL盲注漏洞的源码,旨在能够通过对现有攻击方式的验证下,提出对应的防御措施,为开发人员提供参考。采用基于时间的盲注方法,并借助python脚本对存在漏洞的页
摘要:在高校开展马克思主义哲学教育的目的,在于培养大学生正确的人生观、世界观和价值观,提高大学生运用辩证唯物主义理论看待自我、自然和社会的能力。因此,高校教师可以尝试在马克思主义哲学教育中渗透美学教育,让大学生能够领悟真、善、美,远离假、丑、恶。  关键词:高校 马克思主义哲学 美学教育 渗透  本文在分析高校马克思主义哲学教学中渗透美学教育的可行性和必要性的基础上,尝试探讨渗透美学教育的途径,力
作为ESG和信息系统安全协会(ISSA)最近发表的一篇题为《网络安全专家的生活和时代》的研究报告的一部分,343名信息安全专业人士作为受访者被要求确定其组织在过去几年中采取的
摘要:在当前的物理教学设计中,物理情境的设计可以改变枯燥、抽象的物理教学现状,是当今新课改下的必然要求。把为教师的好教而设计的教育转向为学生的好学而设计的教育,实现学生积极、主动、活泼、健康地发展。  关键词:初中物理 以生为本 创新能力  一、注重科学猜想,让学生的思维活动更有效果  《义务教育物理课程标准(2011年版)》明确指出:“尝试根据经验和已有知识对问题的可能答案提出猜想。”对于初中孩
摘要:师范院校舞蹈专业是近年来比较热门的设置专业,迎合了社会需要,受关注和欢迎程度高。但在师范院校舞蹈专业教学过程中也存在若干问题,需要认真研究。对此进行了分析,提出了一些策略建议。  关键词:师范院校 舞蹈专业 问题  在当今教育改革的大方针下,对素质教育的要求在不断提升,这也直接促进了美育教育的发展,舞蹈教育迎来了发展的最好契机。在这样的大形势下,舞蹈教师专业也受到了来自社会更多的追捧,国内高
这个情况是比较好玩的,就是有时候你在和其他人聊天,界面上会显示“对方正在输入…”的提示,不知道你们看到这个提示会怎么样,反正我看到这个提示的话,就会一直看着这个界面,
摘要:“没有美育的教育是不完全的教育”。审美活动是人类生活中不可缺少的内容,美育也就成了人的全面发展教育中不可缺少的组成部分。生活中有美,教学中也有美,特别是语文学科。语言文字美和优秀文化美以及老师的各种美的教学艺术是培养学生正确的审美观,不断提高审美能力的重要途径。  关键词:语文课堂 审美素质 审美能力  语文课是一门工具课,这是不言而喻的,但语文不是简单的生产工具,而是极具思想与情感内涵的特
摘要:数学课堂教 学是实施素质教育的主要阵地,教师在教学中必须树立创新性的教育观念,通过创设愉悦、和谐的教学氛围,引导学生探索性地学习;培养其思维能力,促进学生全面发展,唤起学生的创新意识,培养创新精神,最终在实践活动中提高其创新能力。  关键词:数学课堂教学 创新意识 课堂环境  创新意识是创造的前提和基础,是一种发现问题、积极探求的心理倾向。而愉悦和谐的课堂教学环境,是启迪思维、开发智力、培养
为了适应现阶段高中英语的教学形势要求,进行新型教学方法的应用是必要的。分层教学法是英语教学体系的重要组成部分,在分层教学中,需要遵循因材施教、循序渐进的教学原则,以学生的知识能力接收状况为基础,进行相应教学方案的设计,实现教学节奏、教学进度等的控制,尊重学生的个性化发展,实现学生求知欲望的激发,确保学生学习自信心的提升,实现高效率英语课堂的营造。  分层教学法课堂教学效率高效性教学自信心一、分层教
随着个人和企业越来越注重数据安全,通常重金购买各种安全产品,如防火墙、VPN、入侵防御系统、应用控制网关、各种杀毒软件等,希望构造一个全方位的安全办公应用环境,所有数据的产生、应用都在这样的安全环境里,从而保证数据的安全性。很多时候,数据的安全性已经远远大于设备本身的价值。但是,搭建这样的一套安全防护系统,我们的数据就真的安全了吗?数据离不开存储,作为数据存储的最终载体硬盘,为数据提供最终的存储空