并行文件系统数据迁移研究与实现

被引量 : 0次 | 上传用户:zxqminibear
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展和广泛应用,人们对计算机系统数据存储能力的要求也越来越高。存储系统面临的问题主要包括:数据存储的地域空间范围更加宽广;数据量成指数级增长;数据传输速度不能满足应用需求。分布式存储系统通过大量节点连接起来协作,突破了单机CPU、内存、I/O资源的瓶颈,能够提供更高的存储性能。在分布式文件系统中,当负载不均衡时,系统的服务能力会降低。平衡系统的负载对保证系统性能长期稳定具有重要意义。数据迁移是平衡系统负载的一种最有效的基本方法。并行文件系统pNFS(Parallel Network File System)是NFS的并行扩展版本,具有良好的并行性,可扩展性。但是其数据服务缺乏负载均衡能力,制约了系统的性能。以并行文件系统pNFS为基础,深入研究了并行文件系统中数据访问造成的负载均衡问题,着重研究了如何通过数据迁移来平衡系统的负载。提出了一种自适应负载的数据迁移方式ALDM(Adaptive load data migration)来平衡系统中数据服务器的负载。首先将数据服务器上的不同类型资源负载进行分类评价,包括网络I/O负载、磁盘I/O负载、磁盘容量负载,然后根据系统中不同类型负载的具体情况,动态的选择数据迁移的源数据服务器、目的数据服务器和迁移的数据文件,通过有针对性的数据迁移,能及时平衡系统的负载,提高系统的性能。实验测试表明,ALDM数据迁移技术在迁移时对系统性能影响较小,迁移完成后,系统性能有10%左右的提升,并且该方法在不同负载的系统中,适应性较好。
其他文献
随着企业信息化的深入,IT在企业业务发展中扮演着越来越重要的角色。在一些大规模的企业里,IT本身已经成为一个非常庞大复杂的系统。数量庞大的IT资产的管理;快速变化和发展
光盘信道检测技术是光盘读通道研究的核心技术。光盘信道检测技术对于红光高清光盘(Next-GenerationVersatileDisc)伺服系统设计和误码率测试具有重要意义。信道检测技术研究
随着云计算时代的到来,存储系统数据量的增长越来越快,数据管理变得非常困难。如何有效地从大规模存储系统中检索数据,如何有效地对海量数据实施差异性的分层存储将直接影响存储
随着移动设备的普及和无线通讯技术的进步,地理相关服务(LBS)引起了广泛的关注,然而当前基于LBS的应用中普遍缺乏地理位置上的实时信息。近年来微博迅速成为网络中传播信息的
随着社会信息化的建设,信息变得越来越重要,甚至成为社会各领域赖以生存的基础。人们可以使用数据备份系统来安全而有效地保护这些信息数据,但是,数据爆炸式的增长导致需要使用大
当前对于车载网络路由协议的研究大部分都是基于联通性网络的,这使其具有一定的局限性,网络中的结点被要求在大部分时间内至少与另一个结点相连通,如果源结点和目的结点间不
在当今社会中,随着计算机科学和互联网技术的飞速发展,数据的总量也越来越多,随之而提高的就是人们对数据的可靠性要求。在任何行业任何部门中,数据的丢失大多都会带来灾难性的后
传统的基于帧时隙的防碰撞算法在识别大规模标签时存在两个问题,一是随着标签数的增加,标签估计算法的误差会越来越大,严重影响了帧长的分配,进而导致识别效率的下降;二是因阅读器
工作流业务流程管理技术满足了企业对其业务过程不断地进行优化以及重组的需求,给企业的业务过程管理带来了很大的益处,使得企业实现了办公自动化,从而提高了企业的办事效率,
在信息化时代,企业比以往任何时候都更加依赖于数据。如何对数据进行备份和灾难恢复已成为存储业界研究的热点。常规的容灾系统已经越来越无法满足对更细粒度的恢复时间目标(Re