面向海量数据的实时计算一致性研究

被引量 : 0次 | 上传用户:bye_bye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据和云计算等概念和相关技术随社会需求和行业需求的提高得到了飞速发展。在传感网络、气象分析、卫星监控、核模拟和电磁计算等关键领域,数据的产生和处理需求已经到了海量级别,充分利用这些数据,就可以极大的提高企业、机构和国家的生产率与竞争力。目前对海量数据的研究从根本上来说仍然属于大数据处理技术研究的范畴。虽然国内外企业及研究机构对分布式存储和计算都有一定的研究,但是具体到海量数据的分布式存储和计算问题,特别是对多数据中心协同计算环境下的数据一致性这一细分领域的研究相对较少,还不能适应多数据中心协同实时计算所具有的异构性较强、计算任务较重、流程间交互关系复杂的特点。本文对支持海量数据实时计算需求的一致性进行了研究,主要工作如下:通过研究支持海量数据的分布式存储架构、海量数据的副本备份管理策略和多数据中心协同计算的数据一致性机制,分析海量数据实时计算环境的特点和数据一致性需求;针对海量数据实时计算中数据一致性问题需求,基于对数据中心网络技术的研究,提出了能够支持海量数据实时计算的多数据中心协同计算平台架构,并对协同计算平台的数据流程进行了规划;通过对主流计算模型的一致性策略进行分析和对比,结合多数据中心协同计算平台实际,基于p axos算法,分别针对输入数据、中间数据和输出数据构建了数据一致性架构方案,初步解决了海量数据实时计算环境下数据存储、备份和使用中面临的一致性问题。在以上研究和工作的基础上,使用OpenStack建立了多数据中心协同计算平台,并基于此平台验证了本文提出的面向海量数据实时计算的数据一致性架构方案的正确性和有效性。本文的研究成果能够应用于海量数据实时计算环境,为相关产业提供支撑。
其他文献
近年来旅游业的发展呈现如火如荼的势头,而城市旅游形象的塑造也越来越被重视起来,各地纷纷摩拳擦掌打造城市旅游形象,力求以优秀的形象吸引众人的目光。石家庄是一个拥有较
由于银行属于高风险行业,其在资本、科技密集方面的特性使得人力资本的素质与价值成为商业银行抑制风险的重要途径,也迫使商业银行之间的竞争实质越来越表现为对高素质人力资
目的:分析硅油并发性白内障和年龄相关性白内障晶状体上皮细胞中凋亡因子的表达差异。方法:将我院2014-03/2016-03收治的硅油并发性白内障患者50例50眼作为研究组,另选同期收治
【正】 ‘色到浓时方近苦,味从回庭有余甘’。茶不仅是生活的必需品,喝茶更是一种生活艺术;也是东方文化的主题。早在几千年前,国人就把茶列入开门七件事,使之成为最普遍的饮
期刊
目的分析口腔科护理人员职业危险因素及防护策略。方法择取50名口腔科护理人员,分析其职业危险因素,并结合相关危险因素制定防护策略。结果经分析发现,50名口腔科护理人员的
10kV组合互感器是一种专用的计量仪器,其计量准确与否直接影响着供电系统电能的管理和用户费用的支出,所以对于10kV组合互感器误差的检定方法进行综合分析十分必要。
改革开放以来,我国经济和社会发生了巨大的变化。在过去的二十年间,我国资本市场得到了迅速的发展,市场规模不断扩大,制度不断完善,逐步成长为一个在法律制度、交易规则、监
自十八大对党风廉政建设和反腐败斗争提出新的要求以来,反腐问题一直成为我国的热点。随着网络信息技术的不断革新,网络化行政在我国开始兴起,传统的反腐手段已经不能满足网
近年来,我国小企业不断发展,成为市场经济的重要组成部分和推进社会生产力发展的重要力量。但是,小企业实现可持续发展难度较大。一方面是由于当前复杂且多变的经济形势,另一