高效云存储缓存调度系统设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jitlin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,云存储也迎来了前所未有的发展。  当前国内云存储行业迅速发展的同时也遇到了比较大的问题。阻碍国内的云存储行业发展的首先就是慢速网络问题。国内的网络连接速度远低于国际平均水平,慢速的网络让云存储服务的质量很难满足用户要求。除了慢速网络,云环境下大量的重复数据也使得云存储服务提供商们的存储硬件以及网络带宽的利用率比较低,这也无形中增加了云存储服务的成本、降低用户体验。  针对慢速网络和重复数据问题,当前云存储服务提供商们已有一些优化方案。例如,在用户上传文件时采用md5比对的方法进行文件级重删,进而优化带宽利用率。该种优化措施存在重删粒度太粗并且会消耗云存储客户端的计算资源的问题。  考虑到云存储系统中一般都会使用缓存,由于访问缓存的高效,客户端可以直接和缓存节点进行完整的数据交互。针对慢速网络和重复数据问题,可以对缓存调度过程做更细致的优化。优化措施包括在调度过程中的相似文件搜索和相似文件差分同步。  采用按文件内容分块和搜索引擎相结合的技术进行相似文件搜索,该方法适用于文本文件、二进制文件等,具有更好的通用性。并且,对文件按照内容进行分块的方法可以很好的发现两个相似文件之间的相同数据块,有利于相似文件的检测。文件调度时采用差分同步方式,只传输相似文件之间的差异部分,提高网络带宽的利用率,从而带来很好的用户体验。
其他文献
随着Internet的广泛应用以及Web技术的日益成熟,如何实现快速有效的Web报表定制也成为软件应用系统研究的重要课题。目前市场上已经有一些基于Web报表定制工具,但它们普遍存
纵观计算机和通信网络进入人类社会的历史,人类经历了主机计算模式(Mainframe Computing)时代和桌面计算模式(Desktop Computing)时代,计算范例开始跨入普适计算模式时代(Ubi
随着计算机技术和网络技术的飞速发展,特别是我国信息化建设的迅速普及,校园网应用日益广泛。其中,高校网上办公系统是一个网络化、公开化、标准化的工作平台,其安全性相关问
在军事训练中,射击结果的测量是否及时和准确是影响训练效果的关键因素.因为只有把射击结果及时准确地传递给指挥员和射击员,才能根据本次射击的偏差调整下一次射击,以达到提高射
协同电子商务是在全球经济一体化的背景下,利用以Internet等为特征的新兴技术为实现手段,来改变企业业务活动模式,并在企业群的各业务单元间进行信息共享和知识创新。协同电
多媒体数据的数字化和网络传播技术为多媒体信息的存取提供了极大的便利,但是盗版问题也随之而来。作为信息隐藏技术的一项重要应用,数字水印技术为多媒体信息的版权保护提供了
随着云存储技术的日益成熟,用户存储访问数据变得更加便捷,同时,用户对数据的访问模式也在发生变化,由原来的呈现类zipf分布逐渐转变为SE分布,甚至更加扁平化,这使得传统的缓存系统
计算机网络有效地实现了资源共享,也随之带来了一系列信息安全问题。在网络上如何保证合法用户对资源的合法访问以及如何防止网络黑客攻击,成为网络安全的主要内容。网络信息
本文从一类具有相似需求的电子政务软件项目入手,设计一套可复用的软件系统,从而实现该领域类似项目研发的软件自动化,极大地缩短软件研发周期、提高效率、节省成本,并保证软件质
随着信息的爆炸式增加,信息的安全性被人们更加重视。当系统中出现磁盘故障时,阵列机制能够帮助人们恢复数据。而固态盘的兴起又为存储界注入了新的思路。传统磁盘阵列技术和固