分布式信息网数据库系统中动态数据划分的设计与实现

来源 :武汉大学 | 被引量 : 0次 | 上传用户:hxyxy303
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据划分是分布式环境中一个非常重要的问题,数据是否划分合理不仅会影响分布式环境的负载均衡,同时也会导致节点间不必要的通信开销,降低分布式环境中的查询性能,尤其是对于相互之间关联较多的数据。在信息网模型中,现实世界的实体被抽象成对象,实体之间的关联被抽象成对象之间的关联。一个数据对象中包含的信息包括该数据对象的属性以及与其他数据对象之间的关联。在信息网模型中,当从一个数据对象出发,想要查询另一个数据对象的内容时,只需要沿着指定路径“跳入”目标对象中进行数据查询即可,不需要繁琐的join操作。然而分布式环境下,数据被划分到各个处理节点上,如果相互之间关联的数据对象没有被划分到同一个处理节点,那么频繁的“跳对象”操作会产生很大的通信开销。在分布式信息网数据库系统中,减少节点间通信开销的主要思路是通过数据的动态划分,使得相互之间密切关联的数据对象尽可能划分到同一个处理节点,进而使查询尽可能的在一个处理节点上完成。为了实现这个目标,本文结合信息网模型的特点提出了一种基于organization的动态数据划分算法。本文首先引入关联度的概念,用于衡量数据对象之间的紧密程度,同时通过查询统计信息动态修正数据对象之间的关联度,能够有效的挖掘数据对象之间的潜在关联;其次,结合信息网模型的特点,抽象出organization的概念,表示相互之间关联度较高的数据对象构成的集合,并制定organization检测规则,实现数据对象所属organization的判断;再次,制定移动计划,将属于一个organization的数据对象尽可能移动到同一个处理节点,同时最小化数据移动过程中的通信开销,并针对fat organization制定切分策略;最后通过限制各个处理节点的最大可用空间,保证动态数据划分算法的负载均衡。动态数据划分算法通过关联度的挖掘,将相互之间关联度较高的数据对象移动到同一个处理节点,进而使得查询在一个节点处理完成,减少节点之间不必要的通信开销,提高查询速度,优化分布式环境下的查询性能。
其他文献
怒江下游河谷六库—潞江段地处云南省西北边陲,隶属泸水市与保山市。区内地质背景条件较为复杂,怒江大断裂纵贯全区,构造活动强烈,加之在西部大开发的背景条件下,人类工程活动极为活跃,使得研究区内地质灾害发生的频率逐年增加,对区内人民的生产和生活造成了不同程度的影响。因此,对怒江下游河谷六库—潞江河段开展地质灾害危险性评价及区划研究可以为研究区内的地质灾害防治及城市规划选址提供一定的参考,同时对有效减少因
当前全球论文产量每5年翻一番。学术搜索引擎已经成为科研人员查找论文不可或缺的工具。目前业界最知名的学术搜索引擎主要有百度学术、Bing学术和Google学术等。然而,对于科研人员来说,使用学术搜索引擎找到想要的资源并不简单,一方面因为各家学术搜索引擎在内容上各有侧重,所以往往需要遍历多个学术搜索引擎才能较为全面地了解相关领域的学术研究进展;另一方面还需要科研人员人工从列表式的搜索结果中选取内容,甚
上颚腺(Mandibular gland,MG)与咽下腺(Hypopharyngeal gland,HG)同为工蜂合成和分泌蜂王浆的主要腺体,是蜂王浆中有机酸合成与分泌的组织,其发育和泌浆行为直接影响蜂王浆的产量与质量。当前很多研究关注于咽下腺发育机理,前人通过形态学、转录组学和蛋白质组学对不同日龄咽下腺的发育机制进行了研究,但针对上颚腺发育机制尚不清楚。本研究以卡尼鄂拉蜂为实验对象,解剖5组不同
流动性供应的减少被广泛认为是2015年中国股市危机的一个重要催化剂。由此可见,金融市场的流动性水平存在不可预测的变化,因此流动性风险成为证券市场投资收益的一个重要的风险来源。随着人民币国际化程度的加深,投资者可以基于股票市场流动性的不同变化趋势以及流动性风险的差异来优化自身的投资策略,以此对风险进行更好的规避,而监管者可以形成有效的风险预警,防危机于未然。在行为金融理论的框架下,本文首先从心理学和
随着科学技术的飞速发展,智能化技术进入大众视野,实现了智能化应用场景落地。随着企业业务的不断增加和复杂,传统财务管理模式的弊端逐渐显现出来,难以满足企业发展的需求,企业财务管理急需实现从信息化到智能化的转变。如何利用智能化技术手段来优化企业财务管理,以促进财务部门更好地发挥职能,提升集团财务运作的效率和效益,满足企业发展的需求,是我国企业财务管理目前面临的重要挑战。S公司是一家从事检测认证的跨国合
学位
压力输水管道是水利水电枢纽中的重要组成部件,在水电站运行过程中,机组突然的丢、增负荷以及阀门的快速启闭会诱发管内流体的水力暂态过程甚至产生极端的非恒定流动现象—水击。水击现象对水电站有压引水系统和机组的运行均有不利影响:若尾水管中水击压力降低过多形成过大负压,可能使尾水管发生严重的汽蚀;若水击压力升高过大,可能导致管道的爆裂。同时水击压力的升降还将促使弱约束管道振动,管道振动又将引发新的水力暂态过
叠溪地区位于青藏高原东南缘,受强烈地质构造运动的影响严重,加之高山峡谷的地形条件,导致该区域滑坡、崩塌、泥石流等地质灾害频发。不仅如此,滑坡灾害发生后还易堵江形成滑坡坝-堰塞湖,并可能产生溃坝洪水,严重威胁下游人民的生命财产安全。叠溪区域分布有大量古滑坡堆积体,并发育着目前保存最完整、厚度最大的湖相沉积物,说明该区域古灾害极为发育。1999年王兰生先生首次在该区域发现了古湖相沉积物,并将其定名为叠
澜沧江中游深切峡谷位于环青藏高原东南缘,是整个昌都-思茅地块的轴部区域,也是三江并流的核心区。其复杂的地质环境条件,加上近年来各类基础工程建设的跟进,在该区域开展工程地质特征研究是十分必要且迫切的。有鉴于此,本文在《深切峡谷区地质环境演化规律及稳定性评价指标体系》研究课题的基础上,以澜沧江中游深切峡谷为研究对象,针对各工程地质条件进行了单因素的特征分区研究。结合峡谷特征,对其形态类型及工程地质特征
随着我国科普事业的蓬勃发展,国家对科普经费的投入也在不断增长。科普展馆作为学习科学文化知识的重要场所,展馆规模不断扩大,参观人数也在持续增加,科普展馆在兼具传播科学知识的同时,更需要对用户体验做进一步的提升。科普展项作为展馆设计的核心,是科普教育的重要载体,其质量和水平直接影响信息传递的效果,对于提升科普馆的服务质量尤为重要。而服务接触理论作为服务设计中的重要理论,以提升用户体验和服务质量为目标,
论文针对安徽淮南顾北矿副井冻结工程,采用理论分析与现场实测相结合的方法,对冻结壁作用于外层井壁上的冻结压力变化规律进行深入探究。主要研究内容及结论如下:(1)根据顾北矿现场实测数据分析了冻结压力变化规律。从现场两个监测水平监测结果表明:井壁冻结压力变化大致经过三个阶段:加速增长阶段、缓慢增长阶段及稳定发展阶段。加速增长阶段发生在井壁开挖后的0-30d内,此阶段冻结压力发生快速增长,增长速率也在不断