【摘 要】
:
大数据时代的来临,需要处理的数字信息呈指数增长,分布式文件系统为大量数据的存储和处理提供了有效的解决方案。分布式文件系统所按照提供的接口可以分为两类:第一类是支持
论文部分内容阅读
大数据时代的来临,需要处理的数字信息呈指数增长,分布式文件系统为大量数据的存储和处理提供了有效的解决方案。分布式文件系统所按照提供的接口可以分为两类:第一类是支持或部分支持POSIX接口的文件系统,第二类是提供私有专用接口。大多数支持或部分支持POSIX接口的分布式文件系统为了追求更好的性能,都选择在内核态实现客户端,但是内核态实现存在开发调试困难、周期长、移植困难等问题。基于FUSE(Filesystem in Userspace)框架实现了一个用户态文件系统客户端,和MDS(元数据存储服务器)、OSD(数据存储服务器)组成分布式文件系统。通过分析FUSE框架的实现特点和对用户态文件系统进行测试,发现用户态文件系统存在用户态与核态之间上下文切换次数多、数据拷贝次数多、网络通信效率低等问题。针对用户态文件系统的这些问题,在客户端采用元数据缓存和数据缓存聚合多次I/O的数据,尽量减少网络通信次数,提高网络利用率;异步I/O技术使客户端将数据I/O请求直接在本地完成,后台不断将脏数据刷到服务器;使用RDMA(Remote Direct Memory Access)减少网络通信中的数据拷贝次数,提高网络带宽;并行I/O提高客户端的并发度,减少I/O时延,从而提升系统的整体性能。结果表明,基于FUSE框架在用户态实现分布式文件系统客户端,开发调试简单、移植升级方便,通过上述优化措施可以将系统吞吐率提高2.5倍,达到核态分布式文件系统的80%以上。
其他文献
目前云计算环境中的资源主要是虚拟机资源,其核心思想是通过虚拟化技术将数据中心的各种硬件资源进行虚拟化从而形成虚拟资源池,再通过资源调度管理以“按需使用,按量付费”
随着计算机技术与通讯技术的迅猛发展,与人们生活息息相关的数据变得越来越多。对海量数据进行科学组织和管理的数据库在这期间得到了广泛的应用,研究多维数据的存储与查询也随
提高数据传输的可靠性和有效性,一直以来都是计算机通信领域所追求的目标。因此,一套优秀的纠错编码方案,是改善误码率,提高数据传输的可靠性的必要手段,经过几十年的发展,已经出现
近年来,基于会议初始化协议SIP(Session Initiation Protocol)的VoIP(Voice over Internet Protocol)网络语音电话受到越来越多用户的欢迎。由于传统的SIP网络组通讯系统大多
随着计算机软硬件技术的不断提高,虚拟植物是当今计算机图形学领域的热点研究内容,它在理论研究以及实际应用两方面都具有重要意义。叶脉的建模方法和绘制技术一直是图形学中
基于IEEE802.11协议的无线局域网(Wireless Local Area Network, WLAN)近年来在校园网、企业网,特别是一些公共热点区域得到了广泛的部署和应用,其业务重点也从传统的数据应用向以
随着数字视频技术的发展,高清光盘播放系统正在快速地步入人们的生活。由于高清视频光盘成本比较高,对其进行安全保护的问题也日益突出。安全保护涉及多个方面,其中密钥管理
随着网络攻击手段的日益复杂化、多样化和自动化,传统的入侵检测系统(IDS)已不能满足安全需求。为了对付目前越来越频繁出现的分布式、多目标、多阶段的组合式网络攻击和黑客
本文研究多传感器同步相关分析方法和异步相关滞后步长分析方法,并将其应用于分类主特征选择及煤矿瓦斯监测数据的异常检测和遗失值估计问题。同时,开发了基于时间序列数据挖
近年来,随着互联网的广泛应用,互联网上软件系统的安全问题已成为倍受关注的问题之一。互联网因其所具有的开放性、互连性等特性使得位于它之上的软件系统容易成为恶意人员攻