论文部分内容阅读
摘要：该文主要讨论了云计算时代，面对存储需求的日益扩张，如何使用新技术来满足这种需求，以及从投资保护的角度，如何与已经购买的存储设备兼容。
关键词：云计算；软件；存储
中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2018）10-0245-03
1 概述
云计算、移动计算、社交媒体以及大数据的发展，使得数据爆炸式增长。一方面，企业要存储这些数据，以便对数据进行利用；另一方面，新建存储系统周期长与新兴业务快速上线间的矛盾；系统庞大，管理复杂，运维人员压力巨大；存储性能无法满足越来越多的数据并行处理应用需求；客户需求分析、业务数据分析与决策推荐等需求，导致对大数据、云计算等新技术应用的需求。本文主要探讨怎样利用新兴的存储技术来面对这些挑战。
数据中心虚拟化对存储提出新的要求和挑战，数据的激增对存储的需求主要体现在：
1）可扩展性：存储集群可以根据用户需求线性扩展，并且数据会自动均衡，无需人工干预。
2）低成本：和传统的 SAN 相比，在性价比上具有明显的优势。
3）高性能：存储集群架构具有灵活的扩展能力，集群性能随着规模的增长线性增长。
4）高可靠性：集群中的每个数据至少保存两份副本，且集群会自动将数据分布在不同的存储单元上，硬件损坏的情况下依然可以获取一份完整的数据，并且丢失的副本会自动重构。
5）高可用性：存储集群提供多副本机制，当某个故障单元发生故障后，整个集群依然可以对外提供服务。
6）易用性：提供方便易用的管理界面，实现存储集群的灵活部署和监控运维。 集群系统可以灵活的增加和删除节点，可以自动实现集群的故障恢复、数据均衡等功能，不需要人工干预。
7）业务灵活性：既可以以传统的存储集群形式为计算节点服务提供块存储或者对象存储，又可以和计算节点紧密结合，提供计算存储的融合方案。虚拟环境的数据中心，要求存储能够提供新的特征：
a.提供虚拟机精确控制
b.在应用高度整合的情况下满足性能要求
c.提供与vSphere相同级别的应用和数据移动性
d.支持快速调配零停机操作
e.按需动态扩展
f.支持VDI和大数据等新应用
g.性能可以满足对关键应用的需求
这些新特性是传统的存储所不能满足的，因此软件定义的存储应运而生。它解决了虚拟化数据中心面临的问题和挑战：简化存储的管理、降低总拥有成本、实现端到端的SLA交付。
2 什么是软件定义的存储
和使用专用的存储硬件不同，软件定义的存储（SDS）是一种以软件方式提供存储功能的存储形式，这种动态的存储架构可以帮助用户大大降低数据中心的费用支出和复杂程度。某些中等规模或是远程站点的业务需求频繁变化而且对容量要求较高（比如VDI），针对这种应用场景许多虚拟化环境用户开始转向具有更佳弹性的SDS。
综合来看，软件定义存儲具备以下特征：
? 以应用为中心的策略，可实现存储使用自动化
? 与硬件无关的虚拟化数据服务
? 通过硬盘和固态磁盘虚拟化确保数据持久性
3 软件定义的存储解决方案
软件定义的数据中心改变了传统数据中心的运行和管理模式。数据中心已经转由运行在基于x86服务器的虚拟化软件所管理，这种转变提供了极大的灵活性和控制，同时提高了效率，也大大降低了成本。
软件定义数据中心最关键的组成部分是计算、网络和存储，而超融合基础架构是适用于SDDC 的理想体系结构，因为这种架构模式在简易性、成本、可扩展性和性能等方面相对于传统基础架构有着明显的优势。为了实现超融合基础架构，软件定义的计算、存储和网络至关重要。
软件定义存储是软件定义的数据中心的重要支柱之一，可对异构存储资源进行抽象化处理，以支持存储在逻辑上的池化、复制和按需分发。并以应用为中心进行消费和管理，并实现基于策略的自动化。
软件定义的存储的一个关键因素是融合，比如迁移数据，需要各种层级，高中低端存储的融合，业务加速，需要闪存和固态盘的融合，数据备份，需要主存储和备份设备的融合，资源整合，需要以前采购的不同厂商设备的融合。
软件定义的存储的另外一个关键因素是管理，用户需要统一的自动化的管理界面以实现：自助式的用户服务接口，策略驱动的存储界面，以提供SLA的保障，各种存储资源一体化的管理，并且能够管理和兼容任意硬件：严格来讲要包含通用的硬件与专用的硬件存储设备。
软件定义的存储通过纯软件实现了存储相关的两个层面的功能：
1）硬件资源的管理：通过开放的软件而不是封闭的机头IOS来管理存储硬件资源；
2）服务内容的连续性：提供基不依赖于硬件的数据服务。包括快照、克隆、复制、备份。
Virtual SAN是专为虚拟机设计的极其简单的存储，它具有速度快、恢复能力强、具有动态性等优点，并且在性能大致相当的情况下，总体拥有成本降低达50%。它是VMware 针对超融合基础架构推出的一款软件定义的存储解决方案，同时也是一个软件驱动的体系结构，可通过虚拟化的x86服务器交付紧密集成的计算、网络连接和共享存储。Virtual SAN 会池化与服务器连接的闪存设备和/或硬盘 （HDD），以便为 vSphere 虚拟机创建一个富有弹性的高性能共享数据存储。
Virtual SAN可为虚拟化生产环境提供企业级存储服务，以及可预测的扩展能力和全闪存性能，所有这些均以远低于专门构建的传统存储阵列的价格提供。像vSphere一样，Virtual SAN可为用户提供所需的灵活性和控制力，以供他们从大量硬件选项中进行选择，并针对各种IT工作负载和用例部署并管理这些选项。Virtual SAN可配置为全闪存存储，也可配置为混合存储。它可利用全闪存存储体系结构提供最多700万的 IOPS；或通过混合存储体系结构提供250万的IOPS。 VSAN自面市以来取得了前所未有的发展势头，最初的十五个月就发展到了两千多个客户，如下所示。
1 ）体系结构和性能
Virtual SAN 以独特的方式内嵌在虚拟化管理程序的内核中，其位置刚好在 I/O 数据路径上。因此，相比在虚拟化管理程序上分开运行的其他存储虚拟设备，Virtual SAN 能够提供最高级别的性能，而不会带来额外的 CPU 开销，也不会消耗大量内存资源。Virtual SAN可利用全闪存存储体系结构提供最多700万的 IOPS；或通过混合存储体系结构提供250万的IOPS。
2 ）可扩展性
Virtual SAN 采用支持弹性、无中断扩展的分布式体系结构，可将每个集群的主机从 2 台增加到 64 台。通过向集群添加新主机（横向扩展），可以同时扩展容量并提高性能；通过仅向现有的主机添加新驱动器（纵向扩展），则可以分别扩展容量和提高性能。“随增长而扩展”的模型可提供线性和精细的扩展，并且一直以来都能保持合理投资。
3） 管理和集成
Virtual SAN 无需安装其他软件，只需单击几下即可启用。它由 vSphere Web Client 管理，并与VMware产品体系集成，包括 vMotion、HA、Distributed Resource Scheduler （DRS） 和 Fault Tolerance （FT） 等功能特性以及其他 VMware 产品（如 VMware Site Recovery Manager、VMware vRealize Automation和 vRealize Operations）。
4） 自动化
虚拟机存储的调配和存储服务级别（如容量、性能、可用性）均可通过以虚拟机为中心的策略实现自动化和控制，支持实时设置或修改这些策略。Virtual SAN 可以动态地自行调整，以适应持续变化的工作负载情况并实现存储资源负载平衡，从而确保每个虚拟机都遵守为其定义的存储策略。这种策略驱动的方法可实现手动存储任务的自动化，并简化虚拟机存储管理。
3.5 可用性
a.Virtual SAN 提供“6 个9”企业级可用性
b.利用FTT=2 Virtual SAN 提供“6 个9”保护à每年停机时间不超过32 秒
c.典型硬件组件可提供约“2 个9”可用性级别（每年停机时间为3.65 天）
d.Virtual SAN 通过跨集群镜像使可用性呈指数级增长
e.利用默认的可用性策略，Virtual SAN 可提供“5 个9”保护à每年停机时间不超过5 分钟
f.按虚拟机分配可用性级别，并动态调整
4 部署最佳实践
在部署Virtual SAN时有如下几个宗旨：
1）不要只用Virtual SAN群集中的少数主机存放全部存儲对象
2）不要只用Virtual SAN群集中的少数主机运行全部的虚拟机
3）虚拟机默认都是精简配置
根据这件宗旨，做出如下推荐：
1）存储设备（SSD，HDD）需要平均分配到集群中的所有主机。否则，Virtual SAN集群内可支持的最大虚拟机数会受到影响。
2）开启的虚拟机（在Virtual SAN数据存储中）需要平均分布到集群中的所有主机。在稳定模式下（即无主机故障时）大约200个虚拟机/主机/Virtual SAN数据存储。否则，将无法达到最佳性能。VMware推荐的最佳实践是群集内每个主机采用相似的存储配置来达到平均的群集分布。
3）SSD是提升性能的重要因素。如果虚拟机负载要求高性能，可以考虑部署多个高SSD：HDD比例的磁盘组，也可以考虑更高性能的SSD硬件。
4）需要注意的是随着虚拟机尺寸的增加，需要在Virtual SAN群集添加存储，尤其在过量分配开启并达到容量上限的时候。
5 成功案例
面临的问题和挑战：
1）系统利用率低：80%的时间服务器资源在闲置状态，业务系统高峰时段每天仅4个多小时
2）IT成本效益低
3）核心电商要求有高性能的数据的存储和访问
4）对数据存储空间扩展要求高
5）核心电商系统的可靠性要求高
解决方案：
1）My SQL 5.6数据库运行核心电商系统，部署在VSAN上
2）VSAN 集群同时支撑测试开发、O2OWeb平台
3）VSAN 集群为前期电商系统提供灾备服务
成果：
1）大幅降低TCO：提高了每个物理服务器及其CPU的资源利用率，避免了购买昂贵的共享存储。使硬件投资减少到40%～60%，操作管理投资减少65%～90%。
2）数据库运行的IO性能明显提高：管理员明显感觉IO的瓶颈不再造成应用性能的下降。
3）VSAN运行非常稳定：未发生宕机，数据丢失等情况。
4）业务应用的灵活度大大增加并提高日常运营效率：VSAN基于策略的存储管理，自调节数据存储资源池，让运维人员可以高效地提供服务。
6 总结
VSAN能够提供极为简单的企业级存储，作为一种全新的存储模式，从根本上简化存储的部署方案，具有技术成熟，操作简单，性能高，扩展能力强的优势，必定成为未来几年存储发展的主流。
参考文献：
[1] 张辉. 软件定义存储的应用分析[J]. 广播电视信息， 2015（11）.
[2] 郭佳琳. 云计算时代的软件定义存储[J]. 黑龙江科技信息， 2016（30）.
关键词：云计算；软件；存储
中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2018）10-0245-03
1 概述
云计算、移动计算、社交媒体以及大数据的发展，使得数据爆炸式增长。一方面，企业要存储这些数据，以便对数据进行利用；另一方面，新建存储系统周期长与新兴业务快速上线间的矛盾；系统庞大，管理复杂，运维人员压力巨大；存储性能无法满足越来越多的数据并行处理应用需求；客户需求分析、业务数据分析与决策推荐等需求，导致对大数据、云计算等新技术应用的需求。本文主要探讨怎样利用新兴的存储技术来面对这些挑战。
数据中心虚拟化对存储提出新的要求和挑战，数据的激增对存储的需求主要体现在：
1）可扩展性：存储集群可以根据用户需求线性扩展，并且数据会自动均衡，无需人工干预。
2）低成本：和传统的 SAN 相比，在性价比上具有明显的优势。
3）高性能：存储集群架构具有灵活的扩展能力，集群性能随着规模的增长线性增长。
4）高可靠性：集群中的每个数据至少保存两份副本，且集群会自动将数据分布在不同的存储单元上，硬件损坏的情况下依然可以获取一份完整的数据，并且丢失的副本会自动重构。
5）高可用性：存储集群提供多副本机制，当某个故障单元发生故障后，整个集群依然可以对外提供服务。
6）易用性：提供方便易用的管理界面，实现存储集群的灵活部署和监控运维。 集群系统可以灵活的增加和删除节点，可以自动实现集群的故障恢复、数据均衡等功能，不需要人工干预。
7）业务灵活性：既可以以传统的存储集群形式为计算节点服务提供块存储或者对象存储，又可以和计算节点紧密结合，提供计算存储的融合方案。虚拟环境的数据中心，要求存储能够提供新的特征：
a.提供虚拟机精确控制
b.在应用高度整合的情况下满足性能要求
c.提供与vSphere相同级别的应用和数据移动性
d.支持快速调配零停机操作
e.按需动态扩展
f.支持VDI和大数据等新应用
g.性能可以满足对关键应用的需求
这些新特性是传统的存储所不能满足的，因此软件定义的存储应运而生。它解决了虚拟化数据中心面临的问题和挑战：简化存储的管理、降低总拥有成本、实现端到端的SLA交付。
2 什么是软件定义的存储
和使用专用的存储硬件不同，软件定义的存储（SDS）是一种以软件方式提供存储功能的存储形式，这种动态的存储架构可以帮助用户大大降低数据中心的费用支出和复杂程度。某些中等规模或是远程站点的业务需求频繁变化而且对容量要求较高（比如VDI），针对这种应用场景许多虚拟化环境用户开始转向具有更佳弹性的SDS。
综合来看，软件定义存儲具备以下特征：
? 以应用为中心的策略，可实现存储使用自动化
? 与硬件无关的虚拟化数据服务
? 通过硬盘和固态磁盘虚拟化确保数据持久性
3 软件定义的存储解决方案
软件定义的数据中心改变了传统数据中心的运行和管理模式。数据中心已经转由运行在基于x86服务器的虚拟化软件所管理，这种转变提供了极大的灵活性和控制，同时提高了效率，也大大降低了成本。
软件定义数据中心最关键的组成部分是计算、网络和存储，而超融合基础架构是适用于SDDC 的理想体系结构，因为这种架构模式在简易性、成本、可扩展性和性能等方面相对于传统基础架构有着明显的优势。为了实现超融合基础架构，软件定义的计算、存储和网络至关重要。
软件定义存储是软件定义的数据中心的重要支柱之一，可对异构存储资源进行抽象化处理，以支持存储在逻辑上的池化、复制和按需分发。并以应用为中心进行消费和管理，并实现基于策略的自动化。
软件定义的存储的一个关键因素是融合，比如迁移数据，需要各种层级，高中低端存储的融合，业务加速，需要闪存和固态盘的融合，数据备份，需要主存储和备份设备的融合，资源整合，需要以前采购的不同厂商设备的融合。
软件定义的存储的另外一个关键因素是管理，用户需要统一的自动化的管理界面以实现：自助式的用户服务接口，策略驱动的存储界面，以提供SLA的保障，各种存储资源一体化的管理，并且能够管理和兼容任意硬件：严格来讲要包含通用的硬件与专用的硬件存储设备。
软件定义的存储通过纯软件实现了存储相关的两个层面的功能：
1）硬件资源的管理：通过开放的软件而不是封闭的机头IOS来管理存储硬件资源；
2）服务内容的连续性：提供基不依赖于硬件的数据服务。包括快照、克隆、复制、备份。
Virtual SAN是专为虚拟机设计的极其简单的存储，它具有速度快、恢复能力强、具有动态性等优点，并且在性能大致相当的情况下，总体拥有成本降低达50%。它是VMware 针对超融合基础架构推出的一款软件定义的存储解决方案，同时也是一个软件驱动的体系结构，可通过虚拟化的x86服务器交付紧密集成的计算、网络连接和共享存储。Virtual SAN 会池化与服务器连接的闪存设备和/或硬盘 （HDD），以便为 vSphere 虚拟机创建一个富有弹性的高性能共享数据存储。
Virtual SAN可为虚拟化生产环境提供企业级存储服务，以及可预测的扩展能力和全闪存性能，所有这些均以远低于专门构建的传统存储阵列的价格提供。像vSphere一样，Virtual SAN可为用户提供所需的灵活性和控制力，以供他们从大量硬件选项中进行选择，并针对各种IT工作负载和用例部署并管理这些选项。Virtual SAN可配置为全闪存存储，也可配置为混合存储。它可利用全闪存存储体系结构提供最多700万的 IOPS；或通过混合存储体系结构提供250万的IOPS。 VSAN自面市以来取得了前所未有的发展势头，最初的十五个月就发展到了两千多个客户，如下所示。
1 ）体系结构和性能
Virtual SAN 以独特的方式内嵌在虚拟化管理程序的内核中，其位置刚好在 I/O 数据路径上。因此，相比在虚拟化管理程序上分开运行的其他存储虚拟设备，Virtual SAN 能够提供最高级别的性能，而不会带来额外的 CPU 开销，也不会消耗大量内存资源。Virtual SAN可利用全闪存存储体系结构提供最多700万的 IOPS；或通过混合存储体系结构提供250万的IOPS。
2 ）可扩展性
Virtual SAN 采用支持弹性、无中断扩展的分布式体系结构，可将每个集群的主机从 2 台增加到 64 台。通过向集群添加新主机（横向扩展），可以同时扩展容量并提高性能；通过仅向现有的主机添加新驱动器（纵向扩展），则可以分别扩展容量和提高性能。“随增长而扩展”的模型可提供线性和精细的扩展，并且一直以来都能保持合理投资。
3） 管理和集成
Virtual SAN 无需安装其他软件，只需单击几下即可启用。它由 vSphere Web Client 管理，并与VMware产品体系集成，包括 vMotion、HA、Distributed Resource Scheduler （DRS） 和 Fault Tolerance （FT） 等功能特性以及其他 VMware 产品（如 VMware Site Recovery Manager、VMware vRealize Automation和 vRealize Operations）。
4） 自动化
虚拟机存储的调配和存储服务级别（如容量、性能、可用性）均可通过以虚拟机为中心的策略实现自动化和控制，支持实时设置或修改这些策略。Virtual SAN 可以动态地自行调整，以适应持续变化的工作负载情况并实现存储资源负载平衡，从而确保每个虚拟机都遵守为其定义的存储策略。这种策略驱动的方法可实现手动存储任务的自动化，并简化虚拟机存储管理。
3.5 可用性
a.Virtual SAN 提供“6 个9”企业级可用性
b.利用FTT=2 Virtual SAN 提供“6 个9”保护à每年停机时间不超过32 秒
c.典型硬件组件可提供约“2 个9”可用性级别（每年停机时间为3.65 天）
d.Virtual SAN 通过跨集群镜像使可用性呈指数级增长
e.利用默认的可用性策略，Virtual SAN 可提供“5 个9”保护à每年停机时间不超过5 分钟
f.按虚拟机分配可用性级别，并动态调整
4 部署最佳实践
在部署Virtual SAN时有如下几个宗旨：
1）不要只用Virtual SAN群集中的少数主机存放全部存儲对象
2）不要只用Virtual SAN群集中的少数主机运行全部的虚拟机
3）虚拟机默认都是精简配置
根据这件宗旨，做出如下推荐：
1）存储设备（SSD，HDD）需要平均分配到集群中的所有主机。否则，Virtual SAN集群内可支持的最大虚拟机数会受到影响。
2）开启的虚拟机（在Virtual SAN数据存储中）需要平均分布到集群中的所有主机。在稳定模式下（即无主机故障时）大约200个虚拟机/主机/Virtual SAN数据存储。否则，将无法达到最佳性能。VMware推荐的最佳实践是群集内每个主机采用相似的存储配置来达到平均的群集分布。
3）SSD是提升性能的重要因素。如果虚拟机负载要求高性能，可以考虑部署多个高SSD：HDD比例的磁盘组，也可以考虑更高性能的SSD硬件。
4）需要注意的是随着虚拟机尺寸的增加，需要在Virtual SAN群集添加存储，尤其在过量分配开启并达到容量上限的时候。
5 成功案例
面临的问题和挑战：
1）系统利用率低：80%的时间服务器资源在闲置状态，业务系统高峰时段每天仅4个多小时
2）IT成本效益低
3）核心电商要求有高性能的数据的存储和访问
4）对数据存储空间扩展要求高
5）核心电商系统的可靠性要求高
解决方案：
1）My SQL 5.6数据库运行核心电商系统，部署在VSAN上
2）VSAN 集群同时支撑测试开发、O2OWeb平台
3）VSAN 集群为前期电商系统提供灾备服务
成果：
1）大幅降低TCO：提高了每个物理服务器及其CPU的资源利用率，避免了购买昂贵的共享存储。使硬件投资减少到40%～60%，操作管理投资减少65%～90%。
2）数据库运行的IO性能明显提高：管理员明显感觉IO的瓶颈不再造成应用性能的下降。
3）VSAN运行非常稳定：未发生宕机，数据丢失等情况。
4）业务应用的灵活度大大增加并提高日常运营效率：VSAN基于策略的存储管理，自调节数据存储资源池，让运维人员可以高效地提供服务。
6 总结
VSAN能够提供极为简单的企业级存储，作为一种全新的存储模式，从根本上简化存储的部署方案，具有技术成熟，操作简单，性能高，扩展能力强的优势，必定成为未来几年存储发展的主流。
参考文献：
[1] 张辉. 软件定义存储的应用分析[J]. 广播电视信息， 2015（11）.
[2] 郭佳琳. 云计算时代的软件定义存储[J]. 黑龙江科技信息， 2016（30）.