【摘 要】
:
分布式系统以其高性能、高可靠性和高扩展性的优势,逐渐成为存储海量数据的首选。在分布式文件系统中,数据主要分为文件数据信息和元数据信息,其中元数据只占数据总量的10%左
论文部分内容阅读
分布式系统以其高性能、高可靠性和高扩展性的优势,逐渐成为存储海量数据的首选。在分布式文件系统中,数据主要分为文件数据信息和元数据信息,其中元数据只占数据总量的10%左右,但元数据的访问量却占系统总访问量的60%以上,因此减少元数据的访问延迟对提高系统的整体性能至关重要。通过研究开源分布式文件系统Ceph中元数据访问的关键技术,分别从客户端和元数据服务器端给出优化方案。客户端优化主要根据缓存中目录项元数据的访问频率,利用目录分片预取出访问频率高的目录区域,将更多的热元数据缓存在客户端,提高元数据命中率;对于客户端的文件路径的查找,采用连续两级目录项未命中优化策略,减少客户端与元数据服务器之间的网络交互次数。元数据服务器端优化主要是优化元数据的缓存管理,对元数据进行主副本分类,并根据元数据命中和更新倒盘特点设计固定比例老化策略,并将干净元数据与脏元数据分开管理,尽量保存优先级高的元数据,减少淘汰开销;另外,针对元数据请求处理流程,通过任务细分优化策略,将请求处理任务划分为三个阶段,并使用流水线型模式以加快元数据处理速度。最后,利用测试工具对优化前后的系统进行对比测试。测试结果表明,增加预取模块、路径查找优化、元数据缓存管理优化和元数据操作任务细分性能分别提升9.1%、16.6%、24.3%和19.6%。测试数据表明元数据服务器端的优化更能提高系统的性能。
其他文献
随着市场经济的发展,用计算机辅助制造手段优化生产调度越来越受到人们的重视,但大多数局限于纯加工或纯装配流水线的生产调度,而面对为客户打造个性化产品的时代,研究多品种
随着企业信息化的发展,企业的经营及管理流程实现在线监控,这使管理层可以在线获得完整而清晰的信息,通过实现信息化可以提高其核心竞争力。现代的计算机集成制造系统(CIMS)结构
互联网的广泛应用以及数字产品的迅猛发展给人们的工作和学习带来新的生机。像音乐、图像和视频等数字产品因为被人们所热衷,使得他们成为非法者获取、复制以及传播的对象。
互联网的快速发展给人们带来了新的获取信息和交流的方式。随着网站和网页数目的不断增加,为了用户能方便的访问它们,搜索引擎应运而生。但由于互联网上存在大量的因转载或抄
信息保障不同于传统的安全技术,它强调信息系统的整个生命周期的防御和恢复。入侵检测系统作为信息安全保障的一个重要部分,可以较好的弥补传统的保护机制不能解决的问题。数
随着社会的发展,科技的进步,人与人之间在交往的过程中进行的身份鉴定成为建立信用的保障,人脸识别技术应运而生,特征提取作为其关键环节成为研究的热点。子空间方法以其描述
无线传感器网络(Wireless Sensor Networks,WSN)路由选择方法是无线传感器网络研究中的关键技术。无线传感器网络路由选择方法是指无线网中信息传递时,采用适当的路由协议后
随着计算机技术的飞速发展,计算机的研究领域也向着越来越多的方面扩展。计算机仿真技术作为当前研究的热点,也受到了越来越高的关注。仿真的数据与计算机动画技术相结合,形
随着网络应用的普及化,网络信息量飞速的增长。因此,人们如何在海量的数据中获取有用的知识变得越来越重要。通过长时间的研究与探索,人们提出了数据挖掘技术,该技术是一门多