基于负载均衡的存储架构研究与应用

来源 :山东大学 | 被引量 : 0次 | 上传用户:qq243396832
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社会信息化程度的急速发展,使得数据正成几何级的数量爆炸性的产生,从而对存储提出的更高、更多的要求。虽然现在磁盘存储容量在不断的增加,但面对爆炸性的数据增长,本地磁盘的存储方案已经体现出了的局限性。随着云计算概念的提出,存储即服务(Storage as a Service)的SaaS模型和云存储的概念也得到了广泛的发展和应用。以硬件冗余、自动故障切换、海量并行扩容、负载均衡及易于管理为标志的云存储的到来使得大规模的廉价的存储成为了可能。云存储中核心的技术便是虚拟化技术,包括有设备虚拟化、服务虚拟化等。存储的虚拟化是实现云存储的关键步骤。本文在借鉴成熟的存储架构(如DAS、NAS、SAN、OBS等)的基础上,通过实践找到一种适合云计算形态的存储形式,并将这种存储体系在云的状态下进行部署应用。现行主流的存储架构都有着各自的优缺点,某些架构是在特定的应用环境下发展建立起来的。例如DAS (Direct-Attached Storage)采用电缆直接到服务器的,I/O请求直接发送到存储设备,但其在备份、恢复、扩展、灾备等方面存在着突出的问题;SAN(Storage Area Network)技术是一种利用FC (Fiber Channel)等互连协议连接起来的,传输效率很高,但实施成本非常高。NAS(Network-Attached Storage)以文件作为基础,建立专用于数据存储的存储私网,NAS主要将目光集中于应用、用户、文件及其共享上。与主流的存储架构相比,基于虚拟存储的云存储会具有明显的优越性:虚拟存储提供了一种大容量存储系统集中管理的手段,采用统一的环节对整个虚拟存储网络中的节点进行管理,避免了设备扩充等带了的管理麻烦,在虚拟存储中,扩容仅仅是管理员对新加设备的节点挂接,对整个系统的运行没有影响;虚拟存储大大提高了存储系统的整体访问带宽,存储系统是有多个的存储模块构成,而虚拟存储良好的负载均衡能力会使得数据的写入与访问更加平衡,性能大幅的提高;虚拟存储使得存储资源的管理更加灵活,不论是在副本管理还是元数据管理方面,虚拟存储都提供了良好的支持。本文通过建立三级虚拟化层次以组织一个自物理层至用户层的虚拟存储空间。借鉴引入成熟架构中的关键技术,并整合利用了一些开源项目组贡献的相关中间件,建立起本文中描述的通用虚拟存储体系。该虚拟存储架构在设计之初特别注重了存储体系对用户的透明性,对终端用户而言,存储空间在理论上是无限的,数据在云端是安全且易用使用的。本文致力于在普通商用网络上建立大规模分布式的安全存储网络。通过加入了规则的概念实现了虚拟存储系统的灵活控制和管理,并在实现过程中根据实际需求加入了在文件读取两方面的负载均衡控制。另一方面,随着软件即服务的SaaS应用模式已经被广泛的接受和应用。这种按需定制、多租户、灵活可配置的模式为用户提供了极大的方便。在云计算成为大势所趋的背景之下,SaaS甚者PaaS的应用模式的应用必然会愈发普遍。本文在提出虚拟存储架构的基础上,同时从虚拟存储的SaaS应用模式角度进行了研究和阐述。我们利用项目组在柔性按需配置的PaaS平台研究中的相关工作设计实现了相关的原型系统在实际应用中进行了实践。
其他文献
随着多媒体信息技术的迅猛发展,图像数据以前所未有的速度增长。面对海量的图像数据,利用计算机对数据进行有效管理成为一项紧迫任务。在此基础上提出的图像场景分类对图像检
在粗糙集的理论研究中,有很多重要的概念,其中的属性约简是在粗糙集研究中的最重要的研究内容。随着数据量的增加,在粗糙集模型上进行分类效率大幅度的降低,因此属性约简显得
随着海洋探测与开发的不断深入,对具有自主导航能力的水下机器人的需求越来越大。在深海复杂环境中,单一的传感器设备都无法满足高精度自主导航的要求,而采用多传感器信息融
随着互联网技术和计算机技术的发展,信息科技正深入地影响着人们的生活。移动互联网的发展,特别是第三代移动通信(3G)技术的推广和应用,更是提供了强大的承载通道和丰富的业
目前,数据采集系统在工程建设、科研、控制等多个领域应用广泛,而且很多领域对系统的实时性和处理速度要求很高,但系统成本上又控制得很严格。ARM公司的Cortex-M3内核正好符合这
随着计算机技术和信息处理技术的不断发展,离散小波变换凭借着良好的时域特性和局部特性,逐步成为了图像压缩技术的核心算法。针对小波变换Mallat算法复杂度高、访存次数多、占
基于IEEE 802.11标准的无线局域网络(Wireless Local Area Network, WLAN)使用免执照的无线频带进行通信,由于其支持用户的移动性、部署灵活、可伸缩性强、维护成本低等优点
近年来,无线通信技术、嵌入式计算技术、传感器技术和微机电系统的飞速发展和日益成熟,推进了无线传感器网络的快速发展。无线传感器网络由低成本、低能耗、多功能的微型传感
在生物学领域根据氨基酸序列预测蛋白质结构是一个复杂而具有挑战性的问题。遗传退火算法是结合遗传算法和退火算法的优点而形成的一种新算法。它克服了遗传算法早熟早收敛、
物联网(Internet of Things,IOT)运用各种传感技术,并融合互联网,建立起“物”与“物”之间的相互感知,实现对单粒度物品的跟踪、控制及定位。目前其资源发现主要依赖于对象名称解