网络环境下分布式文件系统的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:yp7611
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
今时今日,网格技术已经不再把自己局限在高性能计算的范畴中,而是通过向网络服务靠拢,建立起一套面向服务的体系架构。相应于此,网格中的数据模块也不再是一个提供资源的底层支持模块,而逐渐向一个功能独立的,相对自治的分布式文件系统发展。 本文的目的在于构造一种网格环境下的分布式文件系统。在结构上它相当于中国教育科研网格底层支撑平台的数据模块部分,为CGSP其他功能模块提供持久的数据存储功能以及稳定而高效的数据传输服务。另一方面,这个系统也可以独立运行,网格终端用户可以通过它建立自己的数据空间。 传统的分布式文件系统往往是紧耦合的、基于文件级别应用副本策略的。这些系统虽然性能出众、但往往是应对专门系统设计,通用性不强。而过去基于Web的分布式文件系统往往性能低下、存储能力弱、传输效率低。为了满足网格环境下海量数据密集型应用的需求以及面向服务的框架,我们设计并实现了一个基于分片的、松耦合的分布式文件系统,它包括底层存储资源集合、存储资源管理模块、元数据管理模块、副本管理模块、数据传输管理模块、信息监控模块、策略分析模块以及虚拟文件视图终端等部件。 本文设计并实现的系统具有以下的特点和优势: 2 稳定性:通过副本管理模块调整系统中文件合理的冗余度,对”零副本危机”进行预测并予以避免。策略分析模块会在存储资源选择时挑选健壮性最佳的数据节点进行存储; 2 高效性:在传输中使用GridFTP带状并行传输,同时提高服务器端和客户端的带宽利用率。策略分析模块会在构造传输计划时挑选最近、当前可用带宽最大的节点进行传输; 2 通用性:通过使用网络服务资源框架实现远程调用,存储资源只需向存储资源管理模块汇报就可以加入资源集,用户也可以在任何终端登入自己的用户空间;2 可扩展性:通过对策略分析模块的合理设计,开发评估函数接口。 他模块可以通过调用接口得到所需要的结果,而管理员可以通过对接口的不同实现,对配置参数的调整改变系统的运行策略。这样系统也便于重构和功能扩展。 本文所有设计、实现的结果都在一个网格环境下测试,并通过OptorSim模拟了大规模节点数、长运行时间的运行环境进行可用性测试。
其他文献
本论文来源于西安电子科技大学“211工程”标志性成果项目《宽带无线IP接入网络系统安全技术》。我们研究的《宽带无线网络集成认证平台》是它的一个子课题,研究的目的就是要
邮件在日常生活中被广泛使用,而垃圾邮件的传播大大影响了人们的正常生活,浪费大量的网络资源,造成大量财力人力的浪费。如何控制垃圾邮件的传播是各国正在研究的课题之一。如今
本文详细介绍了城市排水设备动态监测与管理信息系统的研究和实现。 随着我国社会经济的不断飞速发展和城市化进程的加快,城市排水体系也在不断的趋于完善。但是目前我国的
在20世纪90年代以来,随着移动通信的发展和普及,无线通信技术日益受到重视,其应用也越来越广泛。“最后一公里”的接入网技术开始从有线向无线发展,在这个背景下,无线城域网
随着互联网络的不断发展,网络安全的问题也越来越受到大家的重视。黑客工具和网络攻击手段的发展极为迅速,导致更多的网络和用户遭受损失,其中分布式拒绝访问攻击DDoS攻击因
人脸识别技术,因为具有极强的科学研究挑战性和潜在的广泛应用,一直是国际性的研究热点。人脸识别的关键步骤包括特征提取和分类。大多数人脸识别系统将人脸表示为基图像的线
报警系统是SCADA系统重要的组成部分。一个具备推理能力的智能化的报警系统可以帮助调度人员准确识别、定位已经发生的故障,总结故障原因,显示电力网络潜在的问题。 本文讨
数据挖掘是当今人工智能和数据库研究方面最富活力的领域。数据挖掘是指从大量的数据中发现潜在的、有用的知识的过程。关联规则数据挖掘则是数据挖掘的一个主要研究内容。而
这几年随着国家对职业教育的越来越重视以及信息化和相关技术的进一步发展,各中职学校在取得快速发展的同时也面临着同类学校的较大竞争。如何将传统的学习和考试模式与信息
随着嵌入式软硬件技术的飞速发展,越来越多的嵌入式产品走进了人们的日常生活。其中DVD录像机就是近几年来出现的新型嵌入式产品,它以显示终端为媒介,通过画面与用户进行交互,包