基于访问热度分类的元数据副本技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:weiweixiao09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在分布式文件系统中,元数据服务器是整个系统的核心,副本技术是提高系统可用性和性能的主要方法之一。而现有的元数据副本技术大多只是简单的对元数据进行复制保存,忽视了元数据访问具有的局部性和相关性,已经无法满足大数据时代对低延迟、高性能的存储访问需求。因此,非常有必要研究新的元数据副本技术,来满足这些需求。通过对分布式文件系统的元数据访问特征的分析和总结,提出了一种基于访问热度分类的元数据副本生成方案,首先利用k-means聚类算法对元数据的访问热度进行分类,将具有相似访问热度的元数据分类到一起,然后生成元数据副本,并将元数据副本发送到其他元数据服务器,当客户端再次发送元数据请求时,元数据服务器可以直接将包含该元数据的元数据副本发送给客户端,客户端可以不需要与元数据服务器交互,直接从副本中查找所需要的元数据,从而大大减少元数据服务器的响应时间,提高系统性能。同时元数据服务器还能根据副本的命中率动态地调整和更新元数据副本,保证元数据副本的高利用率。通过对所提出的副本生成方案的对比测试,得出以下结论:基于访问热度分类的副本技术能显著提高元数据读操作的IOPS;随着文件目录深度的增加,改进后系统响应时间要比未改进前的系统响应时间短,并且拥有两个元数据副本服务器的系统响应时间要比拥有单个元数据副本服务器的系统响应时间更短。
其他文献
随着信息科技的迅速发展,基于闪存的存储设备以其显著的高性能和低能耗等优势,正逐渐成为计算机存储系统中的一个重要组成部分。然而,由于其相对较高的价格和低容量,如何通过
视频分辨率正朝超高清方向发展,分辨率的提高可以提供更好的用户体验,但也使得编解码过程中的计算复杂度急剧增加,对其实时处理带来巨大挑战。新兴的CPU+GPU异构多核处理平台
电子邮件已经成为人们不可或缺的交流媒介,然而垃圾邮件的盛行不仅占用网络资源,甚至危害社会公共安全。当前邮件分类技术存在较高的正常邮件误判率,然而社交网络中用户的爱
随着现代信息技术的高速发展,各行业内部以及行业之间已经建立起基于网络的信息管理体系,数据交换和数据传输活动的曰益频繁使得对于数据交换的研究也显得日益重要。同时在网
电机优化设计一直是工程数学、电机设计理论、计算机科学等众多领域的一个研究热点。它是一种多变量、有约束、非线性的多目标问题,要求在满足约束前提下,借助最优化方法实现目
学位
多通道大尺度投影系统是利用多台投影机的输出图像在显示屏幕上拼接成完整的大画面的技术。其具有尺度大,分辨率高等特点。  本系统的主要技术有几何校正技术、颜色校正技术
随着信息技术的高速发展以及安全形势的迫切需要,人们对安防设备的智能性要求日益提高,智能视频监控技术已成为当今较为前沿的研究课题。其中,运动目标检测和跟踪技术作为智
随着互联网技术的发展,全球数据存储总量呈现爆炸式的增长,这对现有的存储系统提出了更严峻的挑战。一方面传统硬盘的存储密度已经接近极限,需要寻求瓦记录磁盘等技术来实现存储
视频中的文本信息是辅助理解视频内容的重要线索,有效地提取这些文本信息对视频内容的自动理解及检索等应用来说无疑是一项关键的技术。目前,商业OCR对普通图像的识别达到了