数据网格环境下的数据传输及缓存技术研究及实现

被引量 : 0次 | 上传用户:caikesbad
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
开放的互联网环境中存在容量巨大、形式多样、分散存储的数据资源,对这些数据资源实施有效的管理是一个挑战性问题。数据网格以广域环境下海量、异构的数据资源为处理对象,结合高性能计算设施和大规模存储设备,实现了数据存储、数据传输、数据访问、副本管理、高性能数据处理等功能,为用户提供了一个数据管理与处理的基础设施。由于数据网格先天的广域分布性,使得在广域网中进行高效、可靠的数据传输成为了进行数据共享的必然要求。针对这种情况,我们设计和实现了网格数据传输系统,提供了并行传输、条状传输、普通第三方传输、间接第三方传输、带路由的数据传输等功能,并支持现有的主流传输协议FTP、HTTP以及HTTPS等,从高效性、能行性、稳定性、可靠性及安全性等方面满足了数据网格中分布、异构、海量数据的传输需求,改善了数据共享性能。另外,随着计算机技术的发展,CPU和系统主存的性能得到了极大的提高。然而由于IO设备的发展相对滞后,磁盘性能逐渐成为了影响计算机整体性能的瓶颈。特别是在内存密集型和I/O密集型应用中,磁盘访问的巨大延迟将严重影响应用程序的性能。因此在数据网格环境下数据的访问有可能因为磁盘的巨大延迟而导致性能的急剧下降。针对这种情况,本课题组提出了内存网格用于解决此类问题。由于不同大小的文件在数据网格环境下具有不同的访问特征,为了进一步提高内存网格的可用性,我们结合大规模网络存储系统中数据布局策略提出基于内存网格的文件分类缓存服务,在保证内存网格公平性和高可用性的前提下,对内存网格系统中的文件进行分类缓存,扩展内存网格的可用性。通过基于真实应用的实验模拟,证明了文件分类缓存可有效提高现有内存网格的性能。网格数据传输模块为底层的数据资源开凿了一条连通四面八方、数据高速流动的沟渠,使得数据网格环境下不同节点的数据可以进行有效共享;而使用内存网格对于数据进行缓存则可以有效提高数据访问的性能,因此两者从不同方面提高了数据网格的数据访问性能。
其他文献
检察执法指导案例的适用阶段为检验案例指导制度成败的关键步骤。在指导性案例适用标准上,检察官囿于司法便宜主义和稳妥路线的考量,必将于程序上先进行案例比对工作,而后才
伴随着"生态文明"战略的实施和发展,林业在社会经济中的地位日益显著。要想更好地促进林业的发展,实现林业的高效栽培是很重要的。本文就对林业栽培技术进行了分析和探讨。
本篇论文以认知心理学和情绪心理学为理论基础,结合中学生心理发展的规律及物理规律的特点,分析了普通高中学生学习物理规律时认知障碍和消极情绪因素。首先,本篇论文结合笔
清代至民国时期的乌鲁木齐,是由迪化城、巩宁城、新迪化城逐渐发展到正式置市,经历了新疆近代社会转型的重要时期。随着政治、经济、文化、思想等领域的变革,人们的物质和精
本文简单介绍了ERP系统在生产管理方面涉及的相关概念和原理,并通过一个简单生产案例来介绍如何运用ERP系统来进行生产计划管理。
应用变量分离方法构造李雅普诺夫函数,得到了几类二维定常系统零解全局渐近稳定的充分性条件,同时给出了其在物理学中的几点应用.
文中针对牡丹江110 kV桦林变10 kV数字化计量试点中发现的电子式电流互感器运行状态下误差异常故障,开展罗氏线圈原理电子式电流互感器电屏蔽结构缺陷产生的误差机理研究;通
<正>《国务院关于加快发展现代职业教育的决定》强调:完善治理结构、提升治理能力,建立现代职业学校制度,是现代职业教育体系建设的基本要求和重要任务。教育部《高等职业教
《摩西五经》中记载了一系列签约故事。这些签约故事反映了犹太人以契约为手段处理人与神的关系以及人与人的关系。在犹太人看来,签约意味着缔约双方对契约不可变更、不可废
作为农村学校,由于受到地理条件和经济条件等方面的限制,使农村学校的教育教学受到了诸多的局限。但是,农村学校也有自身独特的优势,如丰富的自然资源,为初中美术教学提供了