钱塘分布式文件存储系统性能优化

来源 :浙江大学 | 被引量 : 0次 | 上传用户:lb878719
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
钱塘分布式文件存储系统是在国家重大科技攻关项目的支撑下,研制的面向云计算、互联网等高端应用的分布式文件存储系统。论文结合该系统的版本升级,研究了分布式文件存储系统的性能优化技术,包括负载均衡、副本机制、系统扩展和分布式元数据管理等。论文首先分析了现有的分布式架构,进而解析钱塘分布式文件存储系统1.0版性能问题,最后提出一种新的架构——钱塘分布式文件存储系统2.0版。论文提出一种自适应的动态负载均衡算法。它综合地运用了静态负载均衡算法和动态负载均衡算法的优点,在数据服务器节点上利用其自我监测能力设计了一种自适应的反馈机制,这种反馈机制在保证实时性的同时可降低获取数据服务器节点负载信息的开销,实验数据表明该算法使得钱塘分布式文件存储系统取得较大的性能提升。论文设计了一种低开销的乐观副本机制。采用了操作传输的形式进行副本复制,可避免传输重复的内容,从而节省网络带宽;通过将文件元数据拆分为两部分:文件固有属性和控制属性,数据服务器无需向主服务器查询即可进行副本复制,只需将副本复制的最终结果作为心跳的附加信息传输给主服务器。这种改进方案可以降低网络开销,缓解主服务器的压力。在优化单集群的前提下,论文还提出了系统扩展方案——集群级扩展,采用了基于目录的一致性哈希分布式元数据管理方法水平扩展数据,该方法可以解决数据瓶颈问题,具有访问高效、数据分布均匀等特点。
其他文献
Internet的迅猛发展和普及为流媒体业务发展提供了强大的市场动力。流媒体技术广泛用于多媒体新闻发布、网络广告、在线直播、电子商务、远程教育、实时视频会议等互联网信息
Web服务器在当今Internet服务架构中起着重要的作用,它负责接收和处理用户发送的请求。Web服务器是否合适、高效直接决定了Internet的服务水平。所以要确保网络服务能力,首先
关联规则是数据挖掘领域一个重要的研究课题,其目的就是在数据库中发现数据项之间的隐含关联。在研究正、负关联规则挖掘的基础上,将挖掘算法应用于社保审计领域,获得隐含在
图像拼接技术能够提供宽视角而且高分辨率的图像,与使用扫描相机和广角镜头相比,不仅快捷方便成本低廉而且获得图像质量高,在视频图像拼接、虚拟现实、航空航天、视频压缩和
对于SAR图像来说,相干斑抑制、边缘检测、分割等是在SAR图像处理研究中最基础的热点内容,而SAR图像去斑又是一个最基础和最重要的问题,因为SAR图像的斑点噪声直接影响了它的
无线射频识别技术(RFID)始于二战期间,现在已经广泛应用于物流、航空、供应链、医药等领域。由于其有条形码无可比拟的优点,如自动、快速、批量、远距离等等,电子标签(射频标
一直以来,由于传统中医舌诊缺乏现代医学理论依据,主观性强,其诊断结果比较容易受医生的自我经验积累和所处环境等因素的影响,缺乏客观和定量化的依据。另一方面,由于受传统
磁共振成像技术由于具有成像参数多、分辨率高、无电离辐射损伤、可任意层面断层成像等特点而在医学上得到广泛的应用。但是,磁共振图像也具有成像时间长、软组织对比度不高
复杂网络的研究已经成为互联网、社会学、生物学等多个领域的一个基础课题。节点的聚集现象是很多复杂网络具有的一个特性,被称为簇、社团或群。语义复杂网络的聚集现象可以
高维数据聚类是数据挖掘领域的重点、难点,特别是高维分类型数据的聚类。数据的稀疏性以及“维度灾难”等因素,使得传统的相似度度量方法在分类型数据之间的相似度都趋于无穷而