数据网格几个关键技术的研究

被引量 : 0次 | 上传用户:zhihu2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网格计算技术的飞速发展,数据网格作为其重要的分支之一也得以快速发展。数据网格技术的研究专注于数据密集型作业的有效处理和全局数据资源的有效管理与使用。本文在认识数据网格的基本情况的基础之上,对数据网格中的副本替换机制、作业调度算法、即插即用和按需动态扩展协议进行了分析和探索。作者首先回顾了数据网格的基本研究情况,系统深入地分析了当前网格计算的几个关键的研究领域,列出了本文所关注的数据网格中存在的问题,并针对这些问题,详细阐述了本文的解决方案。在副本替换机制的研究中,分析了现有的数据网格中的副本替换算法存在的问题。作者认为当前的副本替换算法强调单个数据文件的访问情况而忽视了数据文件之间的关联特性,提出了一个基于关联数据文件的副本替换算法;同时,作者又针对当前副本替换算法仅考虑单个存储节点的数据访问情况提出了一个基于全局副本文件访问情况的LFU-Min算法。通过模拟实验,这两个算法都取得了较好的效果。在数据密集型作业的调度算法研究中,分析了现有数据密集型作业调度存在的问题。作者首先针对Gfarm数据网格中缺乏有效的作业管理和调度的情况,采用LSF中的作业调度插件机制来设计和实现了一个针对批模式数据密集型作业的Data-aware调度策略;同时,作者又针对基于访问代价的作业调度算法中忽视了处理节点上数据文件分布在调度时和处理时由于频繁的副本替换所导致的不同而对有效的调度所产生的影响,设计和实现了一个考虑作业等待队列中作业潜在行为的基于访问代价的调度算法。通过对这两个算法的实验和模拟,本文所提出的两个作业调度算法都具有较好的效果。在空间数据网格的即插即用机制的研究中,分析了当前集群文件系统中的即插即用机制,认为当前存储设备的即插即用需要进一步探索存储设备上数据资源的即插即用和数据资源的无缝融合机制。作者针对这个问题,提出了一个空间数据网格中的即插即用协议。整个协议分为五层,从下至上依次包括:设备层、数据表示层、资源发现层、协同调度层和应用层。整个即插即用协议包含:设备动态上下线协议、设备访问控制协议、数据资源动态上下线协议和数据资源融合协议。在空间数据网格的按需动态扩展的研究中,分析了当前动态扩展研究中的现状,认为动态扩展应该结合数据分析者的行为需求。如何将分析者的行为需求与数据网格中的数据文件的合理分布和存储空间的动态扩展进行结合是问题的核心。作者针对这个问题,提出了一个空间数据网格中的按需动态扩展协议。整个协议分为三层:信息采集层、决策制定层和决策执行层。整个协议包括:信息采集协议、决策制定策略和决策执行协议。作者结合国家973项目子专题和国家自然科学基金的研究,给出了数据网格中的一些解决方案,通过模拟实验与分析认为是可行且有效的。
其他文献
目的探讨颈椎间盘突出症病人行颈椎前路椎间盘切除融合术(anterior cervical discectomy and fusion, ACDF)后颈椎矢状位参数变化及其对临床疗效的影响。方法选取2014年1月至
在媒体融合发展的大趋势下,在媒体面临深度融合的过程中,离不开技术服务和技术平台的创新和支撑。目前以互联网+、大数据、云计算、虚拟化等为代表的新兴技术已经成熟,并在其
随着互联网经济浪潮的到来,凡客秉承"互联网快时尚品牌,高性价比的自有品牌,全球时尚的无限选择,最好的用户体验"的品牌理念,建立了自有服装品牌网上销售的商业模式,通过利用
<正> 福州读者沈先生问:许医生您好。我今年27岁,是一名环卫干部。今年7月,我的阴囊上长出了一些小红疙瘩,越挠越痒,难以忍受,还有脓水渗出。我自己买了“肤轻松”软膏涂抹到
研究了以磷钨酸为催化剂,1萘乙酸和甲醇直接酯化合成1萘乙酸甲酯的优化反应条件:催化剂用量为反应液的3%,醇酸摩尔比为16∶1,反应在回流温度下进行3h,酯的收率在96%以上,纯度达996%。
瑞典Svedala S50-65旋回破碎机具有高效破碎、运行稳定等优异性能,相比其它同类破碎机产品,该设备性价比较高,在大型工程项目、矿山基建中经常使用。在紫金矿业4期技改设备安
大量的实证研究表明,金融市场中存在着许多复杂性特征,如:收益的非高斯分布、过度波动和波动丛集等,金融资产价格的波动具有复杂的动态行为,而并不像有效市场理论所描绘的那
我国许多小城镇传统商业街都是百年老街,见证了历史的沧桑,留下了世事变迁的烙印,如丽江的四方街、黄山的屯溪老街、洋县古洋州传统商业街等。但在现代经济飞速发展和城市化
智能电网的建设需要建立适应智能电网通信一体化支撑体系的电力通信工程项目组织。本文在阐述电力通信工程项目组织模式研究背景和国内外研究现状的基础上,对项目组织结构的
针对高校实验室工作中普遍存在的体制与发展、改革与稳定、条件与人才、理论与实践、教学与科研、教师与学生、基础与专业、开放与效益八个关系问题进行研究与剖析,提出正确