开放可伸缩关系数据模型及数据分区策略研究

被引量 : 0次 | 上传用户:hu549881262
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的逐步社会化,各行各业的数据生产能力达到前所未有的高度,大数据(Big Data)概念在这一背景下被提了出来,并且吸引了越来越多的关注。随之而来的是各式各样的大数据技术,简言之,大数据技术指从海量形式各异的数据中,快速获取信息价值的能力。其中数据模型和数据存储技术研究是数据科学领域中的一项基础性工作,能够为上层数据库构建、数据存取、数据分析和挖掘提供有力支撑。论文描述了大数据技术的研究背景、研究意义,分析了大数据的特点及主流的数据处理技术,同时给出了大数据模型及相应数据分区策略的研究现状。然后,针对传统关系数据模型数据类型受限,并发查询性能低和横向伸缩性不足的缺陷,提出了一个开放可伸缩关系数据模型,该模型采用类关联数据的方式保留并扩展了传统关系模型的关系描述能力,提供了开放的数据类型支持,并借鉴key-value的思想,提供了完全的横向伸缩特性,迎合了大数据体量庞大、类型多样、增长迅速的特点。在此之上,以构建一个高伸缩性、高可靠性和便于进行跨数据中心部署的存储系统为目标,从具体的数据存储角度出发,针对OSRDM及其它基于key-value的数据模型,在分析现有数据分区与冗余机制的基础上,提出了一个基于一致性哈希的弹性冗余数据分区策略,该策略将一致性哈希算法与数据冗余机制相结合,在最大程度发挥key-value类数据模型高横向伸缩性特点的同时,通过可控冗余保证数据的可靠性,同时提升数据的并发访问性能。对所提模型和策略的评价工作分为定性分析和定量实验两个部分,分别针对开放可伸缩关系数据模型和基于一致性哈希的弹性冗余数据分区策略,从功能特性和性能指标两方面,与主流数据模型及数据分区策略进行分析对比,评价结果显示出了OSRDM和CHAFRAS的优越性。
其他文献
<正>一、湿地生态补偿机制的内涵及实质根据1971年签订的《湿地公约》第一条第一款的定义判断白洋淀属于典型的湿地系统。湿地生态补偿机制是以保护湿地生态环境、促进人与自
会议
工程是一种有计划、有组织、有目的的造物实践活动,工程活动是人类实践活动的永恒主题。工程既是具有相对独立性和自身特殊性的复杂开放系统,又是社会大系统的重要组成部分。
目的探讨健康教育和心理护理对骨科住院患者的治疗和护理中作用。方法针对我科2011年1月至2012年1月住院的270倒骨科住院患者的特点,制定健康教育计划,进行有效的健康教育及功
目的:观察苍龟探穴针法治疗网球肘的临床疗效。方法:将74例患者随机分为2组,苍龟探穴组36例采用苍龟探穴(阿是穴)针法治疗;常规电针组38例取穴同苍龟探穴组,加用电针。观察2
功能饮料是集运动饮料、能量饮料以及其他特殊功能饮料为一身的,为特殊人群提供特定健康营养功能的一大类饮料的总称。随着人们的消费水平的不断提高,以及对自身健康的不断关
<正> 《红楼梦》作为中国古代最伟大、最复杂的世情小说,通过以贾府为典型的封建贵族家庭日常生活琐事的描写,演绎了一幕"几乎无事的悲剧",揭示了封建贵族阶级必然崩溃的历史
<正> 自1959年在复旦大学作研究生开始系统阅读《史记》,到现在已经四十多年了,在这四十多年间,对《史记》的阅读、研究以及从事与《史记》有关的教学活动,可以说是一直未断
心理效应在教学中起着举足轻重的作用,广大教师有必要了解并有意识地按照心理效应的启示来组织、引导教学。本文结合教学实践论述了南风效应、罗森塔尔效应、马太效应、超限
德庆县在大力推进精准扶贫精准脱贫的同时,积极贯彻落实省委省政府把省定贫困村建成社会主义新农村示范村的重大决策部署,坚持“政府引导、村民主体”基本原则,以早谋划、早动工
全面推进新旧动能转换进程,是山东省决胜全面建成小康社会的关键环节,是山东省在开启全面建设社会主义现代化国家新征程中走在前列的重要战略部署,既是重大机遇,也是重大责任,更是重大挑战。在这一阶段中,山东省的整体经济结构会发生转变,这就要求银行业迅速做出应对,在服务实体经济、支持小微发展、支持服务业、新兴市场行业上做出更大的贡献。与此同时,我们不得不关注,山东省是工业大省、加工制造业大省,而东营市经济更