论文部分内容阅读
大数据和云计算等概念和相关技术随社会需求和行业需求的提高得到了飞速发展。在传感网络、气象分析、卫星监控、核模拟和电磁计算等关键领域,数据的产生和处理需求已经到了海量级别,充分利用这些数据,就可以极大的提高企业、机构和国家的生产率与竞争力。目前对海量数据的研究从根本上来说仍然属于大数据处理技术研究的范畴。虽然国内外企业及研究机构对分布式存储和计算都有一定的研究,但是具体到海量数据的分布式存储和计算问题,特别是对多数据中心协同计算环境下的数据一致性这一细分领域的研究相对较少,还不能适应多数据中心协同实时计算所具有的异构性较强、计算任务较重、流程间交互关系复杂的特点。本文对支持海量数据实时计算需求的一致性进行了研究,主要工作如下:通过研究支持海量数据的分布式存储架构、海量数据的副本备份管理策略和多数据中心协同计算的数据一致性机制,分析海量数据实时计算环境的特点和数据一致性需求;针对海量数据实时计算中数据一致性问题需求,基于对数据中心网络技术的研究,提出了能够支持海量数据实时计算的多数据中心协同计算平台架构,并对协同计算平台的数据流程进行了规划;通过对主流计算模型的一致性策略进行分析和对比,结合多数据中心协同计算平台实际,基于p axos算法,分别针对输入数据、中间数据和输出数据构建了数据一致性架构方案,初步解决了海量数据实时计算环境下数据存储、备份和使用中面临的一致性问题。在以上研究和工作的基础上,使用OpenStack建立了多数据中心协同计算平台,并基于此平台验证了本文提出的面向海量数据实时计算的数据一致性架构方案的正确性和有效性。本文的研究成果能够应用于海量数据实时计算环境,为相关产业提供支撑。