论文部分内容阅读
随着网格计算技术的飞速发展,数据网格作为其重要的分支之一也得以快速发展。数据网格技术的研究专注于数据密集型作业的有效处理和全局数据资源的有效管理与使用。本文在认识数据网格的基本情况的基础之上,对数据网格中的副本替换机制、作业调度算法、即插即用和按需动态扩展协议进行了分析和探索。作者首先回顾了数据网格的基本研究情况,系统深入地分析了当前网格计算的几个关键的研究领域,列出了本文所关注的数据网格中存在的问题,并针对这些问题,详细阐述了本文的解决方案。在副本替换机制的研究中,分析了现有的数据网格中的副本替换算法存在的问题。作者认为当前的副本替换算法强调单个数据文件的访问情况而忽视了数据文件之间的关联特性,提出了一个基于关联数据文件的副本替换算法;同时,作者又针对当前副本替换算法仅考虑单个存储节点的数据访问情况提出了一个基于全局副本文件访问情况的LFU-Min算法。通过模拟实验,这两个算法都取得了较好的效果。在数据密集型作业的调度算法研究中,分析了现有数据密集型作业调度存在的问题。作者首先针对Gfarm数据网格中缺乏有效的作业管理和调度的情况,采用LSF中的作业调度插件机制来设计和实现了一个针对批模式数据密集型作业的Data-aware调度策略;同时,作者又针对基于访问代价的作业调度算法中忽视了处理节点上数据文件分布在调度时和处理时由于频繁的副本替换所导致的不同而对有效的调度所产生的影响,设计和实现了一个考虑作业等待队列中作业潜在行为的基于访问代价的调度算法。通过对这两个算法的实验和模拟,本文所提出的两个作业调度算法都具有较好的效果。在空间数据网格的即插即用机制的研究中,分析了当前集群文件系统中的即插即用机制,认为当前存储设备的即插即用需要进一步探索存储设备上数据资源的即插即用和数据资源的无缝融合机制。作者针对这个问题,提出了一个空间数据网格中的即插即用协议。整个协议分为五层,从下至上依次包括:设备层、数据表示层、资源发现层、协同调度层和应用层。整个即插即用协议包含:设备动态上下线协议、设备访问控制协议、数据资源动态上下线协议和数据资源融合协议。在空间数据网格的按需动态扩展的研究中,分析了当前动态扩展研究中的现状,认为动态扩展应该结合数据分析者的行为需求。如何将分析者的行为需求与数据网格中的数据文件的合理分布和存储空间的动态扩展进行结合是问题的核心。作者针对这个问题,提出了一个空间数据网格中的按需动态扩展协议。整个协议分为三层:信息采集层、决策制定层和决策执行层。整个协议包括:信息采集协议、决策制定策略和决策执行协议。作者结合国家973项目子专题和国家自然科学基金的研究,给出了数据网格中的一些解决方案,通过模拟实验与分析认为是可行且有效的。