分布式存储系统中海量文件随机存取技术研究

被引量 : 3次 | 上传用户:sarnimoon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络和信息技术的飞速发展,各种互联网应用、电子商务平台、穿戴设备乃至各领域的科学研究监测设备都产生了海量的数据信息,我们已进入大数据时代。面对海量数据存储和处理的需求,分布式存储技术被提出并得到广泛的应用。分布式文件系统是分布式存储系统的一个重要分支,主要用于处理海量文件的随机存取问题。本文首先调研了分布式存储系统的研究背景和发展现状,回顾了几种典型的分布式文件系统。其次,本文分析了单节点元数据服务器架构的分布式文件系统的特点。为解决存储海量文件的问题,提出了一种基于微子树的元数据管理方法。该方法把一棵完整的目录树拆分成多棵微子树,并把微子树分布到元数据服务器集群中,从而实现了一台元数据服务器到元数据服务器集群管理元数据的扩展,另外新增了微子树管理服务器管理微子树。本方法有效提高了元数据的存储量和分布式文件系统的并发访问性能。再次,基于微子树分割的分布式文件系统与基于子树分割策略的分布式文件系统有相同的缺陷,即查询文件元数据需要按全路径逐级查找。本文针对此问题,提出了微子树元数据分类缓存机制。实验结果表明,此元数据缓存机制能在一定程度上提高元数据操作速率。最后,针对链式副本同步的特点,详细分析了文件写操作的每个步骤,力争在写文件的每个步骤都充分优化,以加快写小文件的响应速度。实验证明:链式副本同步下的小文件写加速方法优化了写操作的流程,减少了系统响应时间、提高了系统的吞吐量。
其他文献
当前建筑工程项目在不断增加,而在实际的工程施工过程中需要加强对施工技术和施工现场的管理,防止建筑工程施工中出现质量问题。文章结合某建筑工程具体分析施工技术和施工现
探究蒙古族三语人语言认同及其影响因素,不仅能够丰富三语习得理论并扩展多语现象中的语言认同研究,还能为我国少数民族外语教育提供有力的实证基础,进而解决少数民族外语教
我国目前处于经济社会转型的关键时期,贫富差距逐渐增大,社会矛盾日益激化,对我国的发展与中华民族的复兴造成了较大的阻碍。研究我国欠发达地区城乡基本公共服务均等化问题,实现
电力通信网是电网公司安全生产的重要保障,是电网一次系统安全稳定运行的基础,是各类电力信息化业务的运行平台。作为其骨干通信网之一的数据网,近年来在网络规模、覆盖范围
移动互联网时代的到来在给社会生产和生活的方方面面带来极大冲击的同时也带来了无限遐想。动画本身其实由来已久,不过长期以来,它都只是作为人们精神娱乐的一种亚文化而存在
三稀元素是现代重要的资源,可以应用到航空、航天、电子科技等高科技领域,因此研究稀土、分散和稀有元素矿床是十分有意义的。论文以白头山铷矿为研究对象,通过对元素含量特
视频监控技术具有监控直观、集成度高和能够提供丰富信息内容的特点,目前已经在安全领域及应急物流运输领域广泛应用,来保证货物安全到达目的地。随着移动互联网、流媒体技术
2012年有着中国商标第一案之称的“王老吉”商标纷争在法学界掀起了一股关于商标许可使用制度的研究高潮。“王老吉”商标合同争议案最后以广药集团胜诉告终,加多宝隶属的投
步入20世纪以来,数字化与生活紧密联系,无论是计算机、移动互联网、数字媒体、数字电视都成为我们学习、工作、娱乐的新方式。信息数字化以日推进,加速了行业数字化变革。舞蹈教
党的十八届三中全会通过的《关于全面深化改革若干重大问题的决定》提出,要加强社会治安综合治理,创新立体化社会治安防控体系,依法严密防范和惩治各类违法犯罪活动。要实现