基于云存储的客户端缓存文件系统的研究与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:ERICAMBER
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储是一种新的存储服务模式,运营商通过网络为客户提供存储资源和存储服务,具有安全、可靠、可扩展等特性。单机存储与云存储相比,具有难扩展、数据容易丢失损坏、且难迁移等不足,因此随着存储数据规模的不断扩大,为了满足人们持久存储和扩展存储的需求,有必要将数据存储到云存储平台上,特别是将传统应用程序的数据存储到云存储平台上去。在云存储系统中文件被分块冗余备份存储,这种情况下对文件随机写操作需要在所有数据块上执行,时间延迟比较大,但传统应用程序中随机读写操作比较频繁,因此传统应用程序直接对云存储系统中存储文件的读写延迟比较大,性能会受影响,而且现有云存储系统中存储数据的访问接口并不与传统文件系统的访问接口标准相兼容,传统应用程序还无法直接迁移至云存储系统中,即无法直接存取云存储系统中的数据。  本文为了解决这些问题,提出增加缓存系统来扩展云存储系统的方法,利用数据访问空间局限性和时间局限性的特点在本地客户端建立数据缓存,将许多对文件的读写操作从云存储端转移至客户端执行,从而减少客户端与云存储端的数据传输延迟,提高对云存储系统中存储文件随机读写的性能。基于这个方法,设计实现了一个云存储系统LabCloud。在存储端LabCloud使用GFS的开源实现CloudStore,CloudStore采用metaserver和chunkserver的分布式架构,文件被分块冗余存储在不同的chunkserver中;在客户端LabCloud使用设计实现的缓存系统CFS,CFS可以动态配置缓存方式,用户可以选择基于文件式的磁盘缓存,或者选择基于数据块的内存缓存,或者选择混合磁盘缓存和内存缓存的混合缓存方式。传统的磁盘缓存中文件的全部或文件部分数据块被缓存在客户端磁盘中,不同于这种传统磁盘缓存方式,借鉴文件洞的原理本文设计出一种文件式的磁盘缓存方式。在文件式的磁盘缓存方式中,每一个被打开的云存储文件在本地客户端都对应一个缓存文件,云存储文件中部分数据被缓存在对应的缓存文件中,缓存文件中有效区域的数据与云存储文件数据保持一致,而缓存文件中无效区域大部分为文件洞,并不占有实际磁盘空间。这种缓存方式能节省磁盘空间并且方便管理。内存缓存比磁盘缓存速度更快,在某些场合更具优势。CFS同时设计基于数据块的内存缓存方法来缓存云存储文件的数据,从而有效避免下载整个大文件,减少磁盘IO,节省时间和带宽。混合缓存模式则同时利用磁盘缓存和内存缓存的优势,同时弥补两者的不足。CFS兼容POSIX文件系统接口,可以透明地挂载到客户端文件系统上,传统应用程序无需修改即可运行在CFS上,同时存取云存储系统中的数据。对LabCloud系统测试的实验结果表明LabCloud能满足一般传统应用程序移植的要求,对云存储系统中存储文件的随机读写性能也得到提高。
其他文献
失语症形成的原因有多种多样,脑卒中等神经疾病是导致言语缺失最常见的原因。由脑卒中引起失语症可以通过言语康复训练进行恢复,从而提高他们的交流能力,让他们更好的融入生活。
音乐情感分类在音乐检索和音乐推荐等方面具有广泛的应用。国内主流的搜索引擎百度(Baidu)和门户网站网易(163)都相继推出了音乐情感检索系统,但检索的准确率都不高。以往的
船舶自动识别系统(Automatic Identification System,简称AIS),是新一代的海上通信导航系统,能够实现船舶、船岸间的船舶表示、位置、航向、航速等航行信息的自动交换。随着船舶自
作为许多数值模拟的前处理过程,网格生成过程很大程度上影响着求解的效率和正确性。非结构网格由于其对复杂外形的良好适应性,正逐渐成为诸如计算流体力学(CFD: Computational
随着互联网的发展,针对每一个用户提供不同的个性化服务的推荐系统已经深入到互联网的各个领域。本文对推荐系统的国内外研究和应用现状进行了调研,然后提出了一个推荐系统框
本文采用人工生命的方法来研究蜂群复杂的行为。首先,在对蜜蜂个体的行为进行分析和归纳的基础上,建立了蜜蜂的感知模型、环境模型、移动规则、觅食规则、避障规则、记忆规则
随着计算机应用的快速发展和普及,现代软件逐渐呈现出规模越来越大、复杂性越来越高、生命周期越来越紧、功能要求越来越强等特征,这也从客观上要求必须提高软件的可扩展性。近
随着互联网以及Web技术的快速发展,Web应用成为重要的信息获取和交流平台。应用开发者希望应用能在各种主流的浏览器平台上表现一致,但由于浏览器实现技术的差异以及对标准支持
本文研究历史网页文档与股票市场行为的相关性,并建立预测模型来深入分析和定量评估网页文档在股票市场预测中的作用和效果。通过中国网络信息博物馆(Web Infomall[1])的历史
计算机科学技术的发展和互联网应用的普及已经将人类社会带入了信息化的时代。信息化时代的到来在给我们的工作、学习和生活带来无限便利的同时也引发了一些问题。这其中“信