分布式文件系统小文件性能优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hpsjsj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化程度的不断提高,数字信息也迅速增加,分布式文件系统为海量信息的存储提供了有效的解决措施。对分布式文件系统的研究表明,系统对于大文件操作,可以充分使用网络带宽和服务器的存储能力,有非常好的性能。然而,对于日益增长的小文件应用,存在网络带宽利用率低,小文件读写性能差的问题。CapFS是实验室自主研发的分布式文件系统,通过详细分析CapFS系统文件读写流程,得出小文件读写时客户端请求队列长,从而导致了读写操作延迟大,性能低下。结合当前文件系统设计现状,并充分利用Linux内核缓存,改善了小文件访问负载性能。采用基于聚合的小文件优化技术,在客户端写操作中,将多个文件保存在同一个数据块,从而实现聚合。综合网络带宽使用和一致性开销等指标,得出合适的数据块大小;结合Linux内核文件预取机制,选取关联文件放在同一个数据块中,在一定程度上提高文件读性能;结合Linux内核缓存机制,确定数据块缓存策略及“脏”数据块刷回机制;通过回调机制,保证多客户端并发访问的一致性。在元数据服务器端,采用哈希方式来管理数据块元数据信息,提供高效的数据块索引能力。测试结果表明,小文件聚合技术使得CapFS小文件写性能有较为明显提升,小于64KB的文件,写性能提升约一倍,网络带宽利用率增加约一倍;小文件顺序访问时,对于小于64KB的文件,性能提升约25%;对于系统原有大文件性能不受影响。
其他文献
摘要:改革开放以来,我国的金融业得到了快速发展,金融生态得到了极大改善。但我国的金融生态存在着生态链短粗化、金融生态主体缺位及生态环境脆弱等问题,影响着金融支持经济的持续、健康、快速发展。因此,我国的金融生态建设应从金融生态链、生态主体和生态环境几方面进行优化。  关键词:金融生态系统;金融生态链;金融生态环境;健康  中图分类号:F062.2 文献标志码:A 文章编号:1673-291X(200
人口老龄化是当今世界各国昔遍面临的重大社会问题,中国人口老龄化与其他国家比起来有其明显的“催生”痕迹之特性。十七大报告提出“加强老龄工作”,足见党对其的重视。对于这
货币流动性用M1与M2的比例来表示,它反映了现实购买力和潜在购买力的比例。货币流动性过剩产生的原因:首先,世界各主要国家执行的低利率政策是造成当前全球货币流动性过剩的根源
计算机已经广泛应用于社会各个领域,根据河北金融学院图书馆期刊管理的特点,设计并开发了基于c/s结构的图书馆期刊管理系统,在这个系统中实现了期刊信息的导入、登到、查询、导出
目的分析重型颅脑创伤患者心电图变化与预后的相关性。方法回顾2009-06—2013-012我院诊断为重型颅脑创伤患者为研究对象,对患者心电图的变化及预后等数据,评价重型颅脑创伤
<正> 大骨节病,一种地方性骨关节炎,据报道与病区土壤、食物和人发中的硒水平低有关。而且,病因也包括其它因素(Sokoloff1985)。任(1982)和莫(1987)用低硒饲料喂养大鼠,未发
次贷危机的爆发是美国的经济周期发展的必然结果。次贷危机的深入发展,不但使中国金融机构投资及国家外汇资产更多地暴露在风险之下,而且会进一步影响中国的出口、增加中国通
在EMH中,投资者是理性的,市场信息是完全的,股价完全反映其投资价值;而实际上股票市场上投资者往往是非理性的,且信息是非对称的;而非对称信息导致的逆向选择和道德风险使上市公司
齐白石艺术在欧洲成为中国现代艺术的代表之一,这其中既有历史的机缘巧合,也有个人和政府的推动。20世纪50年代以前齐白石艺术能够被欧洲观众所认识,这与组织者的选择有莫大