并行数据处理中间件存储分配策略研究

被引量 : 0次 | 上传用户:leoling819
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
并行数据处理是一种十分重要的计算机技术,该技术目前在很多领域发挥着重要作用。通过开发一个支持并行数据处理的中间件,将集群并行计算机各节点上分布的数据库连接起来,构成数据并行处理中间件系统,系统中各节点并行工作,可以以较小的代价获得接近并行数据库的性能。在SN结构的并行数据库中,数据被划分到多个处理节点上,查询由多个节点共同完成。在此应用环境中,划分方法的优劣对提高系统并行性,减少数据倾斜,提高系统性能具有重要作用。数据存储分配是查询处理并行化的基础,是并行数据处理技术研究的重要方向之一。本文通过对存储分配策略的研究,研究并提出最大程度适合本系统的数据存储分配策略,以提高系统性能。本文首先描述了数据并行处理中间件的系统结构和工作原理,以此为应用和研究环境,研究如何对关系进行分片,提出一种基于连结代价的划分属性选择算法,对Range和Hash划分方法进行改进,提出适合本系统的R-H划分算法,该算法比原有的Range和Hash方法更有利于实现数据均衡,避免初始数据倾斜的产生。针对系统长期运行后可能发生的数据倾斜,本文研究了中间件系统中数据重分布策略。研究在发生数据倾斜时,如何确定过载节点、过热关系以及热点数据块,并给出了热点数据块迁移的方法。经过实验测试,重分布方法可有效解决数据倾斜的问题。根据对实际应用环境中数据表特征的研究和分析,本文还对中间件系统中小表的放置、建立索引以及连结操作的问题进行了研究,提出了本系统中的解决办法,使得本文的研究具有较强的可应用性。
其他文献
金融风暴中,银行高管畸形的天价薪酬成为各界人士十分关注的现象,各国的监管机构也致力于规范银行的薪酬制度。商业银行由于其金融中介的重要地位,其薪酬制度已不仅仅是银行
电影《赛德克·巴莱》描绘了上世纪30年代台湾地区原住民反抗日本人奴化统治的"雾社事件"。反思"雾社事件",其根源在于日本人的奴化统治政策、现代文明理念与山地原住民传统
<正>黄河河道整治工程一般包括险工和控导工程,其整治建筑物主要有坝、垛、护岸三种形式。其中坝、垛主要由坝体(土胎)、护坡、护根三部分组成。黄河险工坝岸是抵御洪水、确
激波加工技术是在超声技术成熟的基础上提出的一种新加工技术。目前,国内外对高强度聚焦超声技术(HIFU)的研究和应用已经取得一定的成绩。HIFU的成功研制表明超声技术在医学
对外直接投资已经成为我国主要的对外开放战略,在此背景下本文研究其所产生的对外劳务输出效应。本文通过时间序列数据协整分析发现对外直接投资和对外劳务输出及劳务合作之
专业市场是我国特殊的体制背景下商品流通领域的一项制度创新,是最具中国特色的流通企业。近几年来,随着我国市场经济体制改革的深入和商品流通领域对外开放程度的加深,我国
大型仓储式超市是一种新兴的商业建筑。虽然诞生的时间不长,但近年来在世界各地都得到了迅速发展,对零售流通领域产生了巨大的影响。它集对商品的大量仓储与销售为一体,奉行
近年来,由于海洋工程和近海石油开发的需要,代表水下机器人发展方向的AUV得到了快速的发展。从长远目光来看,AUV又在向着智能化、远程化迈进。作为海洋开发的重要工具,要保证
随着人们对能源需求的日益增加,如何高效、合理利用能源已成为人们迫切关心的问题。相变材料在发生相变的过程中吸收或者释放热量,在太阳能利用、建筑节能和空调采暖方面有着
壳聚糖作为自然界第二大天然高分子,是天然多糖中的唯一碱性多糖,分子结构中含有游离氨基,溶于酸后,分子中氨基可与质子相结合,而使自身带正电荷。壳聚糖有很好的吸附性、成