云存储网关Joinln的缓存系统设计与实现

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:jiangtaizhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  随着数据量的迅猛增长,由于传统的存储架构扩展性较差,无法满足用户需求,云存储在海量数据处理中的应用越来越广泛。为了简化云存储的访问方式,将各种特殊接口转换成传统应用程序可以访问的方式,来为用户提供更加便利的存储服务,课题组设计实现了JoinIn云存储网关。由于云存储本身架构的原因,对远程文件和目录的访问延迟大,影响用户体验。本文针对这些挑战,设计实现了JoinIn云存储网关的缓存系统,支持用户的读写操作和持久化存储,该系统能够较好地解决网络带宽和磁盘I/O的受限问题,提高用户体验。实验结果表明,JoinIn缓存系统大幅度地提高了读操作的速度。
其他文献
为了解决海量信息处理中实时访问中的“IO墙”的问题,提高海量信息分布式存储系统的性能问题,提出了一种基于HPC的存储部件新型访问策略。首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理,建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下
随着云计算技术的发展和广泛应用,如何解决数据的高效存储成为业界的一个研究重点。本文通过对现有的Linux Ext3文件系统的扩展,设计实现了一种重复数据删除方案,通过该方案可以为云计算用户,尤其是大规模使用虚拟机的用户降低云计算存储资源的使用。该重复数据删除技术方案通过测试验证,表明该解决方案可以为云计算时代的大规模虚拟机应用提供一种高效保障,为云计算的顺利推进起到保驾护航的作用。
为了适应峰值负载,大多数数据中心提供的资源都超过平均条件下需要资源很多,这导致了很多节点在大部分时间处于空闲状态,进而数据中心的能耗变得非常巨大。从数据中心的整个系统来说,关闭空闲节点可以节省大量的电力资源,降低数据中心的运营成本。本文在提出一个数据中心能耗模型的基础上,设计了一个可以动态调整资源使用的框架,可以大幅降低数据中心的能耗。
近年来,企业级私有云存储得到广泛应用,但其测试技术却发展滞后,国内还没有专门的组织和测试技术,可为企业级私有云存储提供准确而有效的测评依据。因此通过研究国内外现有的存储测试工具,以及企业级私有云存储的性能、安全、可靠性、可扩展性和功能测试方法,设计了一个基于Linux系统的分布式企业级私有云测试平台。从总体设计、功能模块、程序流程、负载参数、结果判定、实现的关键技术等方面对测试平台进行详细阐述。
云存储环境下为解决存储资源利用率问题,服务器端需动态为用户分配存储空间。本文致力于解决如何伸缩系统卷文件系统可识别大小。具体针对NTFS文件系统卷,重点介绍了NTFS文件系统关于容量管理的重要数据结构,设计并实现了根据用户申请的磁盘空间大小,自动伸缩系统卷的工具。实验表明:该工具能够在无数据损坏的前提下快速扩展或缩小系统卷文件系统识别的大小。
在数据以几何级快速增长的今天,如何更好的保护主存储上的海量数据安全成为研究重点,云存储以其大容量、低成本成为用户选择数据二级存储的主要模式。本文提出了一种绿色、安全的云存储解决方案,研究设计了云存储解决方案的架构和重删、压缩、自动精简、备份容灾、zone控制、日志和策略等实现技术。云存储系统通过虚拟存储技术提高了用户的存储利用率,降低了企业在存储软硬件和人力维护投入的成本,实现绿色高效低碳的数据存
数据密集型应用已成为当今最重要的计算机应用之一,面向数据的并行编程模型MapReduce为其提供了优雅的解决方案,但目前的众核微体系结构并不匹配MapReduce运行时,众核芯片系统无法发挥相应的计算能力。本文结合众核(Many-core)和云计算两个计算机学科最新发展方向,从计算机微体系结构的角度,为实现高性能众核芯片系统中巨大计算和处理能力目标,提出了众核三维存储体系结构,满足MapReduc
随着云计算技术的发展,越来越多的数据需要被存储及其管理。然而现在云应用需要存储的数据越来越多,达到了TB级甚至PB级别的数据量,这为存储和管理带来了极大的困难。如果使用一种坏的存储模型,那么在处理PB级别的海量数据时的效率将会十分低下。本文提出了一种基于语义的智能云存储模型。该模型将对所有的云应用的所有文件进行一个语义处理,形成一种智能的分布式语义索引机制。有了这个智能的分布式语义索引机制,当各种
在云计算环境中提供数据服务逐渐成为研究热点。本文在云计算环境中结合已有XQuery查询处理引擎,实现了云计算环境中XML数据查询服务。为提高云计算环境中XML数据查询效率,采用基于XPath投影的方法预先对XML分块处理,仅保留与XQuery语句相关的数据,实验表明,该方法有效缩小了数据分块的规模、缩短了XML数据服务的查询处理时间。
云计算作为一种新型的IT模式,具有超越传统IT架构的高效和灵活特性。“云时代”使得计算过程更加便捷,同时引入了新的安全问题。为了解决这些问题,必须建立一套完整的云计算安全体系。本文描绘了云计算安全发展趋势,同时提出了云计算平台安全技术体系框架,并对数据安全,身份管理和访问控制等云安全方面的关键技术进行了分析。