面向云计算平台的网络缓存系统的实现

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:xf6088
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一种流行的基于互联网的计算方式。它计算互联网上的硬件资源以及软件资源,并将这两种资源虚拟化成服务交付给个人用户和企业。而云计算系统就是建立在此基础上,它由连接在互联网各种各样的个人计算机、服务器、磁盘整列等设备组成,通过各种虚拟化技术和分布式技术为庞大的用户群体提供各种计算服务和存储服务。在云计算系统中,存储子系统是通过整合网络上各种不同的存储设备,向用户提供数据存储和管理服务的系统。当今的云存储子系统往往拥有庞大的数据中心,集中管理用户数据,支撑着数量巨大的用户存储服务。这样的基础架构模式带来了宽带瓶颈问题——即当用户访问量过大时,存储子系统由于对外的网络速度问题,无法保证数据传输的速度和质量,影响了存储服务的可用性。本文在阅读国内外相关文献的基础上,设计和实现了基于OpenStack的IaaS基础云计算系统OCloud(OpenStack Based Cloud System),并针对存储子系统的宽带瓶颈问题,设计和实现了基于本地块设备的网络缓存系统NDM-Cache(Network Device Mapper Cache)。本文基于开源的OpenStack项目,设计和实现了基础云计算系统OCloud。首先,本文针对OCloud系统中已有的块级别存储模块存在单点故障的问题,设计和实现了分布式的块级别存储子系统Orthrus。它可以有效地避免单点故障问题。其次,本文为减轻云系统镜像存储模块的空间压力,采用LiveDFS作为存储模块的文件系统,实现了镜像重复数据的删除功能。再次,本文为了能监控系统的所有的虚拟机实例和物理节点,部署了Ganglia监控系统。最后,本文面向校园内师生的科研和学习工作,开发和实现了个人网盘服务,平行计算服务以及教学管理平台服务。全校的师生可以通过web浏览器方便地访问和使用这些服务。针对云计算平台中共享存储子系统的宽带限制问题,本文设计和实现了面向云计算系统的网络缓存系统NDM-Cache。该缓存系统采用本地块设备作为缓存设备。在设计该系统时,本文设计了基于本地块设备的网络缓存系统结构,并提出了面向网络缓存系统的数据管理方案。并且在此基础上,针对内存空间有空余的客户机,本文又提出了双层缓存策略,利用多余内存空间进一步提升系统整体性能。通过实验证明,在8台客户端节点同时访问共享存储设备时,相对于原始共享存储设备和DM-Cache系统,基于本地普通磁盘的原型NDM-Cache系统在数据读取性能上分别平均提高了11.31%和2.34%,而基于SSD盘的原型NDM-Cache则分别平均提高了18.42%和2.76%。并且采用了双层缓存优化策略后,基于普通磁盘的原型NDM-Cache系统比单层系统平均提高了4.57%,而基于SSD盘的原型NDM-Cache系统提高了4.61%。
其他文献
后基因组时代生命科学中最重大的研究课题之一是蛋白质组研究,对蛋白质空间结构预测研究在整个蛋白质组计划中占有着极其重要的地位。蛋白质预测结构研究内容包括:序列预处理、
现实世界中存在大量的复杂系统,这些复杂系统通常被抽象的描述为复杂网络,如生物网、神经网络、因特网、万维网和社会网络等,复杂网络通常具有社团结构特性。研究复杂网络的
无线传感器网络作为目前研究热点,融合了嵌入式、无线通信以及分布式等技术。它具有广泛的应用前景,在医疗监测、城市管理、智能战场、农业监测、抢险等领域具有极大的应用价值
随着互联网的发展,高校学生可以在校园内随时随地的通过手机、电脑访问因特网,并对社会现象、国际大事、社会道德问题、校园生活等发表言论,这很容易引发舆论危机。建立高校
本文探讨了基于自适应回归模型的图像超分辨率技术及其在数字图像通信领域的若干应用,包括图像错误隐藏和无线环境下的视频编码技术。在实际应用中,受采集设备和传输信道等条
近年来,随着无线技术、嵌入式技术和传感技术的日益成熟和迅速发展,具备计算能力、通信能力和感知能力的无线传感器在世界范围内出现并广泛地应用在军事国防、环境监测、灾难
社会的进步,科学的发展,给人们生活带来了日新月异的变化。与此同时各种数据信息的不断积累,在方便人们的同时,也带来了新的挑战。如何从这些大量数据中发现有用信息成为当前
在开放动态的分布式软件环境下,多个事务并行处理导致产生的事件没有完全按照正常的顺序到达。如果这些事务产生的标记不完全或者不可用,无法通过事件的时间戳信息和事务实例的
学位
转码(Transcoding)是一种将已经编码过的信号转换为另一种信号的技术,在视频上,视频转码的主要应用包括码率控制,帧率控制,分辨率调整以及视频格式转换等。然而,传统的视频转码方