蓝鲸集群文件系统Windows客户端的性能优化研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:zhangxing0828
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着集群技术和网络技术的飞速发展,网络存储系统成为解决集群I/O性能瓶颈的主要手段之一.集群文件系统作为网络存储系统的核心技术,很好地解决了传统文件系统中存在的性能、容量、共享、可扩展性等问题.I/O性能是衡量集群文件系统的关键指标之一,面对应用的多样性和复杂性,如何提高系统的性能是当前集群文件系统研究的热点之一. 本文结合蓝鲸集群文件系统的特点,对Windows客户端的性能进行了深入研究,重点分析了单点顺序访问、单点并发及多点并发访问时系统中存在的性能瓶颈点,并有针对性地采用了一些优化方法优化系统的性能,使得系统的性能在实际应用环境中提高了30﹪~50﹪.取得了如下主要成果:1) 提出了客户端性能优化模型建立正确的性能优化模型是对客户端性能优化的基础.通过对Windows客户端数据流进行深入分析研究,找出了系统中存在的性能瓶颈点,在此基础之上,根据客户端软件各个功能模块的特点进一步进行抽象,建立了客户端性能优化模型,不仅为本文后续的研究打下铺垫,也为今后客户端在不同应用模式下进行性能持续优化打下坚实基础.2) 设计并实现了元数据缓存、ENBD异步模型以及专用的ENBD网络处理接口元数据缓存是集群文件系统客户端提高性能最有效的方法之一.通过客户端元数据缓存技术,一方面降低了元数据服务器的负载,另一方面元数据缓存中的块映射信息缓存有效地减少了数据读写关键路径上与元数据服务器通信的次数,降低了网络延迟,提高了整个系统的性能.ENBD协议处理层原先采用了同步处理模型,对所有的请求串行化处理,在优化过程中,将ENBD协议处理层进一步抽象成一个虚拟设备,采用设备的异步并发机制进行了优化,提高了单个客户端的并发性能.此外,针对ENBD协议的特点,设计了专用的ENBD网络处理接口,消除从ENBD协议到Socket协议间的拷贝开销.3) 提出并实现了基于文件类型动态调整预读粒度的机制预读作为提高文件系统性能的有效手段被广泛使用.通过深入研究蓝鲸集群文件系统在非线性编辑这种应用模型下存在的问题,提出并实现了基于文件类型动态调整预读粒度的机制,通过提供用户可订制的预读策略,很好地解决了系统在并发模式下磁盘抖动的问题,使得蓝鲸集群文件系统在非线性编辑应用模式下性能获得巨大提高.
其他文献
可扩展标记语言XML是一种半结构化的数据描述语言,因其具备高可读性、跨平台性和可扩展等特性,在互联网领域被广泛应用。XML不仅是一种优秀的数据存储格式,而且还是互联网中
无线传感器网络以数据为中心的特性,使得数据在其中占据着尤为重要的地位。部署在观测区域的大量传感器节点搜集数据,并将其反馈给基站。本文探讨现今无线传感器网络中的错误数
P2P流媒体技术在有限的资源环境下,能够满足快速增长的用户需求,成为流媒体研究中一个挑战性的课题. 节点选择机制作为P2P流媒体系统的核心,影响了系统形成的拓扑结构,以
半导体技术的发展、多核多线程体系结构的逐渐成熟,使得数据流编程模型重新成为人们的研究热点.对于这种编程模型,我们的编译器及运行时系统是否需要改进、以及可以为其提供
空间数据库中存储着海量的数据和信息,从中导出所隐含的知识,并将这些知识作用于现有的数据,得到新的知识和数据,有助于提高GIS的应用水平,并对建立智能化GIS起到极大的促进
20世纪90年代以来,信息产业迅猛崛起,已逐步发展成为世界上最大的产业,成为经济增长的主要驱动力量。我国信息产业“十五”期间发展迅速,各项指标的增长幅度均超过20%以上。产业总
证券投资目前已成为我国资本市场上最活跃的投资方式。由于证券投资的高风险性,投资者往往选择若干种资产进行搭配投资以降低非系统风险,也就是所谓的投资组合。本文把国内外证
本论文对印刷体识别后处理技术进行了深入的研究,目标就是从理论,算法和应用三个层次上研究如何校正文本图像识别错误,提高系统识别率.研究工作主要包括以下几个方面: 首
在当今世界上,科学技术的发展日新月异,各类设备功能逐步强大,随之导致复杂程度迅速提升。这些设备的设计、研发、使用、维修等方面的技术资料也长年累积,数量之大令人头疼。
通过电荷泵锁相环原理实现的高速CMOS数据和时钟恢复(CDR)电路是目前比较普遍的设计方法.本文研究了这种CDR电路的相关设计问题,内容涉及以下几个方面. 首先,解释电荷泵锁