海量文件分布式存取技术研究

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:zjz_hi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云时代的到来,大数据吸引了越来越多的关注,每天互联网上新产生的数据以数以亿计的速度激增。这种数量级的数据量已经远远超出了一台计算机的处理能力,如何存储和管理这些数据成为人们关注的焦点。基于此,分布式文件系统被提出并得到广泛的应用。而分布式文件系统中所涉及到的各种分布式存取技术也成为人们研究的热点。本文首先广泛调研了分布式文件系统的发展和现状,并基于MooseFS (MFS)分布式文件系统对海量文件的分布式存取技术进行了详细的研究和介绍。其次,本文针对MFS使用一台元数据服务器存储整个文件系统的元数据从而限制整个文件系统的存储容量和存取效率的问题,提出了一种基于静态哈希的元数据扩展管理方法。该方法将一台元数据服务器扩展为元数据服务器集群,同时有效解决了静态哈希方法目录重命名时数据迁移量较大和权限认证网络时延较长的问题。再次,本文针对MFS系统缺乏小文件缓存机制从而降低了小文件重复读取的读取速率的问题,提出了MFS数据缓存优化机制。该缓存机制将最近访问的文件保存在MFS客户端的内存缓存区,当客户端需要读取同一文件时,便直接从内存中读取数据。.实验结果表明,改进后的机制大大提高了小文件的重复读取速率。‘最后,本文针对MFS系统对大文件的读取缺乏预取机制导致读取速率变慢的缺点,提出了MFS数据预取机制。当文件大小超过1MB,并且客户端以连续读取操作触发预取机制时,系统将数据提前传送至客户端内存。实验结果表明,当对大文件进行读取操作时,改进后的机制不仅缩短了系统读取文件的操作完成时间和响应时间,还提高了系统的吞吐量。
其他文献
随着云计算、物联网、大数据时代的到来,人们对数据流量井喷式增长的需求,无疑对作为信息通信网络基础的传输系统的传输性能提出了更高的要求。大容量、超高速率、超长距离的传
近年来,许多仪器制造商单独设计的仪器应用于测试领域,但他们都很少考虑这些仪器的兼容性.这样使得组建一个测试系统时遇到了不少麻烦,于是许多仪器制造商们意识到有必要建立
第一部分以Candidasp.尿酸酶为模型考察用积分法测定米氏常数(Michaelis-Mentenconstant,Km)及黄嘌呤对其抑制常数(inhibitionconstant,Ki)所需条件。用293nm吸收变化记录尿酸酶
艺术家的作品使我们意识到这样的矛盾:精神家园的失落究竟是现代人性的异化,还是文化工业超量的生产使我们再也无法回到真正的现实,真正的城市生活,让城市不再生硬、冷漠,而
该文主要研究有限制手写体汉字的分类识别问题.由于汉字数目庞大,这里采用多极策略旨在减少存储量.粗分类的特征提取中给出了一组新的模板来提取四叉点特征,使四叉点特征提取
该文详细分析了国际电信联盟最新制定的一种低码率视频编码标准H.263的原理和主要特点,包括半像素预测、无限制运动矢量、高级预测模式和PB帧模式等,并与H.263做了比较.在此
郝祥的作品中有相当一部分油画背景沉重而阴郁,似乎与今天的城市雾霾有着某种关联,但经过持续的渗透与解读才令我大吃一惊,那沉重的背景下灰白的云与石头更像是板结化的城市
论文由动计算网络引出移动终端的概念,提出在无线局域网基础上构建支持移动用户终端的移动计算网络具体形式,并根据项目的技术指标设计移地动终端的软硬件平台.在第三章中着
目的:研究endocan(humanendocellular-specificmolecule-1,ESM-1)在正常人结直肠组织中的表达规律及其定位,分析endocan在结直肠正常粘膜与在结直肠癌中表达的差异;及其与临床参
该文在研究ITU-T Q.931、Q.932、Q954等建议的基础上,确定了ISDN多媒体终端的信令消息集和信息元素集,提出了一种管理ISDN用户--网络BRI接口上呼吸的简单方法,并采用了模块化