论文部分内容阅读
近年来,由于创建、存储和访问信息的方式出现了新的变化,用户对存储的需求也随之变化。据统计,非结构化数据目前已经占了总存储容量的50%以上,预计增长势头会继续超过结构化数据。在这种不断变化的形势下,存储管理人员面临的挑战是让存储资源能满足数据和生成数据的应用程序的需求,而建立一种动态的存储环境是最终要实现的目标。
基于文件的数据需要基于文件的存储系统,这可能表现为多种形式:文件服务器、网络附加存储(NAS)、NAS设备,或者使用文件虚拟化形成的组合体。管理人员在决定采用哪种形式、部署哪种解决方案之前,必须确认其环境中的使用场合及相关需求。
以下是基于文件的存储系统最常见的使用场合,它们对性能、存储、访问、安全和容量都有独特的要求。
针对虚拟服务器的存储
早在金融危机之前,企业就在想方设法减少浪费,如提高资源利用率、简化管理、面向不断变化的市场提高响应能力等。在许多环境下,系统的处理能力常常大于应用程序的需求,而为了减少这种浪费,许多企业采用服务器虚拟化,以此优化现有的资源。部署虚拟化不仅提高了设备利用率,还提高了环境的灵活性和响应能力,为系统和应用程序的恢复带来了新的选择。在这种新环境下,存储系统不得不具有更强的响应能力和灵活性。
在虚拟服务器环境下,存储面临的主要挑战是能否配置适当的存储容量,有效管理存储,以满足未来对容量增长、性能和可用性等的需要,并且在保护数据时符合应用程序的要求。
在部署虚拟化技术时,每个虚拟机都有自己的文件。该文件可能含有虚拟机镜像和数据,或只含数据。随着虚拟机数量的不断增加,管理支持这些虚拟机的存储系统变得更复杂了。逻辑单元号(LUN)管理、基于性能和迁移考虑的虚拟机放置、容量管理、甚至故障排除都变得费时又复杂。
许多企业已发现在基于文件的存储系统上部署虚拟化技术可以消除与存储有关的许多复杂问题。现在,无论是虚拟机镜像还是数据,每个文件都可以单独管理。使用横向扩展(Scale-out)或向上扩展(Scale-up)的基于文件的存储系统,以进一步增强系统在一些方面的能力,包括及时配置存储容量、提高资源利用率、提供适当的性能以及更高水平的数据和系统可用性。
如今,不是所有虚拟化平台都能基于NFS或CIFS运行,有些平台只能在基于块的存储系统上运行。在这种情况下,为了方便虚拟机迁移,获得高可用性,可能需要在服务器集群上部署集群文件系统。
文件服务
为了在管理方面获得规模经济效应,并提高资源利用率,许多企业针对文件和打印服务以及整个网络共享开展了合并项目。此举旨在简化存储管理,更智能化地管理数据,并且提供增值服务,如及时归档、数据保护和安全性。这类合并项目的一些关键要求包括:使用管理工具,让管理员在不必增加人手的情况下,能够管理日益增长的数据和存储系统;及时准确地配置及回收存储容量;无缝实时地更新和升级;根据需要,灵活地增加容量、提升性能。这些要视企业的需求而定,可通过以下方式来做到这一点:
● 部署文件虚拟化。文件虚拟化技术可以将现有的基于文件的存储设备合并到单一命名空间,允许后端存储独立于目录和文件夹结构进行管理。文件虚拟化还能在不必迁移用户的情况下添加容量,容量可能来自文件虚拟化系统抽象出来的任何存储设备。
●部署向上扩展(Scale-up)系统。该系统可满足理论上无限的存储容量,并支持数量众多的文件。这通常是高可用性配置中的一台服务器或双服务器,后端则使用基于块的存储。一些系统可能支持多种存储系统,以实现分层存储。要部署这种系统,就需要更换现有环境中的一切设备。向上扩展的系统还依赖服务器的性能配置,只有当系统中处理器的处理能力扩增后,这种系统才能扩展。
●部署横向扩展(Scale-out)系统。这种系统可能是由多个节点组成的集群NAS,它们共同提供了一个全局文件系统命名空间,以便根据需要扩展容量和性能。部署Scale-out系统还有一种方式,那就是在现有的文件服务器上部署分布式文件系统。分布式文件系统充当抽象层,可根据需要添加容量。
数据保护
传统的数据保护系统和最佳实践要求数据应从生产系统复制到二级系统,那样就算生产系统发生故障,数据还有另一个副本。复制数据的方法已存在了很长时间,不过多年来,用于存储二级副本的介质在不断变化。数据保护模式要求每天都要进行增量备份,并定期进行全备份。久而久之,这种方法会带来同一数据的多个副本,这消耗了容量和带宽,降低了性能。目前,一些数据保护软件已变得更智能化,可在块一级复制只发生变化的那部分数据,从而减少写入到二级介质上的数据量。另一些数据保护软件能够针对二级存储系统采用容量优化技术,比如单实例存储、压缩和重复数据删除,从而解决冗余问题。
使用基于文件的存储用于数据保护越来越流行,这主要有两个原因。首先,这种存储易于部署,使用标准协议,支持原生复制功能,还可与众多驱动器技术配合使用。其次,它解决了企业使用基于块的存储系统时面临的一些主要难题,像存储资源的利用、跨介质服务器资源共享、及时为介质服务器配置存储容量等。
归档和内容存储
归档是基于文件的存储最自然和常用的使用场合。数据归档一般是为了满足法规遵从的需求,同时为了支持业务计划,并为客户和合作伙伴提供支持。由于这些数据有许多是非结构化数据,而基于文件的系统是很好的解决方案,基于文件的系统具有经济高效、持续性、无缝扩展性和易用性等特点。
高性能计算
这是横向扩展和向上扩展的基于文件系统的传统使用场合。大多数高性能计算(HPC)用户对性能都有要求,这意味着系统必须随着应用程序的需求进行扩展。不过,通常不是所有数据都在同一时间被处理,所以,许多HPC用户能够得益于拥有动态存储分层功能的系统。有了动态存储分层功能,系统就能根据性能特征,跨不同的存储层转移数据。数据可从高性能的磁盘介质转移到低性能的磁盘介质,也可以反过来,这个过程对应用程序和用户来说是透明的。
一些横向扩展和向上扩展的基于文件的存储系统配备智能分层、容量优化、自动精简配置、基于知识的数据管理和标准组件,这些技术为满足上面讨论的几种主要使用场合的需求提供了一条途径,根据解决方案及其架构的不同,有些解决方案对特定的使用场合来说更合适。
如果存储需求是不断变化的,那么满足需求的环境也应不断变化。无论资源部署在企业内部,还是由服务提供商提供,关键是在需要时能以所需的形式得到这些资源。
想选择一款合适的解决方案,关键是要明白对自己企业来说什么最重要。不同的解决方案在复杂性、性能、可扩展性和支持服务等方面各有不同。
链接一
横向扩展NAS与向上扩展NAS
横向扩展(Scale-out)是指能够通过为集群增加节点来扩展基于文件的系统,这跟快餐店通过增加收银员数量来增强接单能力一样。Scale-out NAS其命名空间通常涵盖多个节点,允许通过命名空间中的任何一个节点来访问数据。
向上扩展(Scale-up)是指通过把现有硬件换成更快的组件来扩展基于文件的系统,这跟快餐店通过把现有的那位收银员换成手脚更快的收银员和更快的收银机来增强接单能力一样。命名空间通常涵盖一个节点,或涵盖能形成集群的两个节点。
链接二
基于文件的存储与“云”
文章中讨论的购置存储系统的使用场合主要有两种方式,一是为了供内部使用而购买(私有云存储),二是将存储作为服务向提供商订购(公共云存储)。
在公共云情况下,存储资源根据容量和合同中约定的服务级别来付费。物理存储资源放在提供商管理的数据中心中,由用户通过网络来访问。一些提供商在数据中心里部署了通向云的网关,比如允许应用程序通过NFS或CIFS等标准协议来访问云的NAS网关。一些提供商允许借助NFS或CIFS,通过网络来访问;另一些使用专有协议,允许用户连接到自己的资源。这些情况下的存储还可以作为应用程序的一部分来提供。一个例子就是数据保护、复制或归档,在这些情况下,软件用来将数据从企业转移到云端。
私有存储云要复杂一些。如果云提供商所提供的存储容量每GB成本低于内部配置架构,那是由于规模效应,因此,提供商能更有效地部署、配置及管理存储容量。但较低的购置和运营成本也是每家企业都需要的,现在假设企业同样能在内部获得规模效应,这意味着部署的存储容量可以根据业务部门的需要来按需配置。在这种情况下,IT部门成了业务部门的服务提供商。从某种意义上来说,IT部门就是私有存储云供应商。
现在的问题是,企业的存储管理人员如何能获得这些成效。答案是并非易事。私有存储云可能基于文件,也可能基于块,但占用大部分存储资源的是文件,而生成这些文件的应用程序和用户有不一样的需求。在理想情况下,最好是采用针对所有使用场合而设计,并满足性能、安全、容量和访问等方面要求的基于文件的存储解决方案,这将是最终的动态数据中心,但从现今的市场看,做到这些并不容易。
另一种方法是为尽可能多的使用场合部署尽可能少的存储解决方案,其存储系统具有下列特性和功能:
●无缝可扩展性,能够增加容量及提升性能,停机时间为零;
●100%的可用性,即一直可用,包括计划维护期间;
●最优化的容量利用率;
●可管理性,让尽可能少的管理员能够支持越来越多的存储容量;
●节能技术,比如高密度、低功耗、智能化的冷却设计可降低运营成本;
●互操作性,标准组件和协议便于及时升级和采用下一代技术。
基于文件的数据需要基于文件的存储系统,这可能表现为多种形式:文件服务器、网络附加存储(NAS)、NAS设备,或者使用文件虚拟化形成的组合体。管理人员在决定采用哪种形式、部署哪种解决方案之前,必须确认其环境中的使用场合及相关需求。
以下是基于文件的存储系统最常见的使用场合,它们对性能、存储、访问、安全和容量都有独特的要求。
针对虚拟服务器的存储
早在金融危机之前,企业就在想方设法减少浪费,如提高资源利用率、简化管理、面向不断变化的市场提高响应能力等。在许多环境下,系统的处理能力常常大于应用程序的需求,而为了减少这种浪费,许多企业采用服务器虚拟化,以此优化现有的资源。部署虚拟化不仅提高了设备利用率,还提高了环境的灵活性和响应能力,为系统和应用程序的恢复带来了新的选择。在这种新环境下,存储系统不得不具有更强的响应能力和灵活性。
在虚拟服务器环境下,存储面临的主要挑战是能否配置适当的存储容量,有效管理存储,以满足未来对容量增长、性能和可用性等的需要,并且在保护数据时符合应用程序的要求。
在部署虚拟化技术时,每个虚拟机都有自己的文件。该文件可能含有虚拟机镜像和数据,或只含数据。随着虚拟机数量的不断增加,管理支持这些虚拟机的存储系统变得更复杂了。逻辑单元号(LUN)管理、基于性能和迁移考虑的虚拟机放置、容量管理、甚至故障排除都变得费时又复杂。
许多企业已发现在基于文件的存储系统上部署虚拟化技术可以消除与存储有关的许多复杂问题。现在,无论是虚拟机镜像还是数据,每个文件都可以单独管理。使用横向扩展(Scale-out)或向上扩展(Scale-up)的基于文件的存储系统,以进一步增强系统在一些方面的能力,包括及时配置存储容量、提高资源利用率、提供适当的性能以及更高水平的数据和系统可用性。
如今,不是所有虚拟化平台都能基于NFS或CIFS运行,有些平台只能在基于块的存储系统上运行。在这种情况下,为了方便虚拟机迁移,获得高可用性,可能需要在服务器集群上部署集群文件系统。
文件服务
为了在管理方面获得规模经济效应,并提高资源利用率,许多企业针对文件和打印服务以及整个网络共享开展了合并项目。此举旨在简化存储管理,更智能化地管理数据,并且提供增值服务,如及时归档、数据保护和安全性。这类合并项目的一些关键要求包括:使用管理工具,让管理员在不必增加人手的情况下,能够管理日益增长的数据和存储系统;及时准确地配置及回收存储容量;无缝实时地更新和升级;根据需要,灵活地增加容量、提升性能。这些要视企业的需求而定,可通过以下方式来做到这一点:
● 部署文件虚拟化。文件虚拟化技术可以将现有的基于文件的存储设备合并到单一命名空间,允许后端存储独立于目录和文件夹结构进行管理。文件虚拟化还能在不必迁移用户的情况下添加容量,容量可能来自文件虚拟化系统抽象出来的任何存储设备。
●部署向上扩展(Scale-up)系统。该系统可满足理论上无限的存储容量,并支持数量众多的文件。这通常是高可用性配置中的一台服务器或双服务器,后端则使用基于块的存储。一些系统可能支持多种存储系统,以实现分层存储。要部署这种系统,就需要更换现有环境中的一切设备。向上扩展的系统还依赖服务器的性能配置,只有当系统中处理器的处理能力扩增后,这种系统才能扩展。
●部署横向扩展(Scale-out)系统。这种系统可能是由多个节点组成的集群NAS,它们共同提供了一个全局文件系统命名空间,以便根据需要扩展容量和性能。部署Scale-out系统还有一种方式,那就是在现有的文件服务器上部署分布式文件系统。分布式文件系统充当抽象层,可根据需要添加容量。
数据保护
传统的数据保护系统和最佳实践要求数据应从生产系统复制到二级系统,那样就算生产系统发生故障,数据还有另一个副本。复制数据的方法已存在了很长时间,不过多年来,用于存储二级副本的介质在不断变化。数据保护模式要求每天都要进行增量备份,并定期进行全备份。久而久之,这种方法会带来同一数据的多个副本,这消耗了容量和带宽,降低了性能。目前,一些数据保护软件已变得更智能化,可在块一级复制只发生变化的那部分数据,从而减少写入到二级介质上的数据量。另一些数据保护软件能够针对二级存储系统采用容量优化技术,比如单实例存储、压缩和重复数据删除,从而解决冗余问题。
使用基于文件的存储用于数据保护越来越流行,这主要有两个原因。首先,这种存储易于部署,使用标准协议,支持原生复制功能,还可与众多驱动器技术配合使用。其次,它解决了企业使用基于块的存储系统时面临的一些主要难题,像存储资源的利用、跨介质服务器资源共享、及时为介质服务器配置存储容量等。
归档和内容存储
归档是基于文件的存储最自然和常用的使用场合。数据归档一般是为了满足法规遵从的需求,同时为了支持业务计划,并为客户和合作伙伴提供支持。由于这些数据有许多是非结构化数据,而基于文件的系统是很好的解决方案,基于文件的系统具有经济高效、持续性、无缝扩展性和易用性等特点。
高性能计算
这是横向扩展和向上扩展的基于文件系统的传统使用场合。大多数高性能计算(HPC)用户对性能都有要求,这意味着系统必须随着应用程序的需求进行扩展。不过,通常不是所有数据都在同一时间被处理,所以,许多HPC用户能够得益于拥有动态存储分层功能的系统。有了动态存储分层功能,系统就能根据性能特征,跨不同的存储层转移数据。数据可从高性能的磁盘介质转移到低性能的磁盘介质,也可以反过来,这个过程对应用程序和用户来说是透明的。
一些横向扩展和向上扩展的基于文件的存储系统配备智能分层、容量优化、自动精简配置、基于知识的数据管理和标准组件,这些技术为满足上面讨论的几种主要使用场合的需求提供了一条途径,根据解决方案及其架构的不同,有些解决方案对特定的使用场合来说更合适。
如果存储需求是不断变化的,那么满足需求的环境也应不断变化。无论资源部署在企业内部,还是由服务提供商提供,关键是在需要时能以所需的形式得到这些资源。
想选择一款合适的解决方案,关键是要明白对自己企业来说什么最重要。不同的解决方案在复杂性、性能、可扩展性和支持服务等方面各有不同。
链接一
横向扩展NAS与向上扩展NAS
横向扩展(Scale-out)是指能够通过为集群增加节点来扩展基于文件的系统,这跟快餐店通过增加收银员数量来增强接单能力一样。Scale-out NAS其命名空间通常涵盖多个节点,允许通过命名空间中的任何一个节点来访问数据。
向上扩展(Scale-up)是指通过把现有硬件换成更快的组件来扩展基于文件的系统,这跟快餐店通过把现有的那位收银员换成手脚更快的收银员和更快的收银机来增强接单能力一样。命名空间通常涵盖一个节点,或涵盖能形成集群的两个节点。
链接二
基于文件的存储与“云”
文章中讨论的购置存储系统的使用场合主要有两种方式,一是为了供内部使用而购买(私有云存储),二是将存储作为服务向提供商订购(公共云存储)。
在公共云情况下,存储资源根据容量和合同中约定的服务级别来付费。物理存储资源放在提供商管理的数据中心中,由用户通过网络来访问。一些提供商在数据中心里部署了通向云的网关,比如允许应用程序通过NFS或CIFS等标准协议来访问云的NAS网关。一些提供商允许借助NFS或CIFS,通过网络来访问;另一些使用专有协议,允许用户连接到自己的资源。这些情况下的存储还可以作为应用程序的一部分来提供。一个例子就是数据保护、复制或归档,在这些情况下,软件用来将数据从企业转移到云端。
私有存储云要复杂一些。如果云提供商所提供的存储容量每GB成本低于内部配置架构,那是由于规模效应,因此,提供商能更有效地部署、配置及管理存储容量。但较低的购置和运营成本也是每家企业都需要的,现在假设企业同样能在内部获得规模效应,这意味着部署的存储容量可以根据业务部门的需要来按需配置。在这种情况下,IT部门成了业务部门的服务提供商。从某种意义上来说,IT部门就是私有存储云供应商。
现在的问题是,企业的存储管理人员如何能获得这些成效。答案是并非易事。私有存储云可能基于文件,也可能基于块,但占用大部分存储资源的是文件,而生成这些文件的应用程序和用户有不一样的需求。在理想情况下,最好是采用针对所有使用场合而设计,并满足性能、安全、容量和访问等方面要求的基于文件的存储解决方案,这将是最终的动态数据中心,但从现今的市场看,做到这些并不容易。
另一种方法是为尽可能多的使用场合部署尽可能少的存储解决方案,其存储系统具有下列特性和功能:
●无缝可扩展性,能够增加容量及提升性能,停机时间为零;
●100%的可用性,即一直可用,包括计划维护期间;
●最优化的容量利用率;
●可管理性,让尽可能少的管理员能够支持越来越多的存储容量;
●节能技术,比如高密度、低功耗、智能化的冷却设计可降低运营成本;
●互操作性,标准组件和协议便于及时升级和采用下一代技术。