基于Hadoop架构的数据共享模型研究

来源 :北京工业大学 | 被引量 : 17次 | 上传用户:fdghghjhghjjh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息化发展过程中,以往各地区物资系统独立工作的模式已经不能满足地区间物资共享和互相调用的需求。而目前数据量的增长速度已经达到了前所未有的地步,由EMC赞助的IDC数字宇宙研究在《从混沌中提取价值》中指出,全球的数据量每两年翻一番。在2011年中创建和复制的数据量为1.8ZB(1ZB=106PB),信息社会也已经进入了大数据时代。如何处理大数据并提高它们的应用价值,是目前计算机领域的研究热点之一。传统的数据共享方式不能满足大量数据的存储和计算要求,这就需要新的数据共享方式来解决。数据共享就是让处在不同地方,使用不同计算机、不同软件的用户能够操作存储在其他系统中的数据,并能够对这些数据进行运算和分析。论文中报告了不同领域软件应用系统的存在的共同问题,并报告了Hadoop的发展及应用现状,研读了分布式数据库和并行计算理论,对Hadoop架构中的一些技术进行了研究。分析了数据共享中的一些关键技术。在研究数据共享的过程中采用了文献研究法研究了传统数据共享方式-基于中间件的数据共享方式、基于数据仓库的数据共享方式和P2P数据共享方式的框架、理论,并分析了传统数据共享的特点尤其是不足之处。为了解决传统数据共享方式中的不足之处,在数据仓库共享方式基础上,提出了基于HBase的数据共享模型。接着用数量研究法比较了HBase数据共享模型比传统数据共享模型在性能上的优势,并详细描述了HBase数据共享模型的其它方面的优势。最后将HBase数据共享模型应用在物资调度系统中,以证明该数据共享模型的可行性。在实现物资调度系统的过程中,采用功能分析法分析物资调度系统的功能性需求,对物资调度系统进行了详细的设计并实现了该系统中的主要功能模块。在实现物资管理调度系统的过程中,着重解决了物资编码不一致和HBase数据库数据连接的问题。最近几年国家一些部门正在重新建设物资管理调度系统。物资管理调度系统的重建是为了便于不同地区物资的综合调度和总体监控。在重新建设物资管理系统的情境下,使用论文中提出的HBase数据库共享模型实现的物资调度系统,在实现各单位应急物资的共享,提高存放于不同地区物资调度相互协调度,满足大数据量持续增长和计算的需求,提高系统的可靠性方面具有重要的意义。
其他文献
新闻评论在舆论引导中起到举足轻重的作用,一张报纸的评论有没有风格,能不能争取更多的读者,关键是看有没有自己的声音,有没有独家观点,只有有了自己的声音,有了自己的风格,有了自己
开发校园信息聚合App,旨在提供移动端访问校园信息的便捷渠道而无需改造现有的校园网站。移动客户端App采用混合移动开发技术,使用了Framework7框架;服务端采用Node.js技术,使用E
<正>《中共广西壮族自治区委员会关于实施乡村振兴战略的决定》(下称《决定》)指出,要强化农村基层党组织的领导核心地位。最近,我们围绕农村基层党组织在推进乡村振兴战略的
在电子商务行业日趋成熟的今天,越来越多的企业拥有了自己的电子商务平台并且掌握了对网络流量进行实时监测和统计的基本技术,企业管理者试图从网站流量信息中挖掘出对自己经营
海口坚持“控源截污、内源治理、生态修复”,统筹山水林田湖草系统治理美舍河,历时9个月取得了明显成效,获得了出席中国城镇水务发展国际研讨会与新技术设备博览会的专家们一致
报纸
状态检修技术对于电气设备高效、安全的运行有着重要的影响,熟练掌握了相关的知识将会在故障诊断过程中发挥出重要的作用,不仅能够降低故障损失,还能为我国的电力事业发展创
"假如不迅速采取措施,中国将成为世界上艾滋病感染人数最多的国家之一,艾滋病的流行将成为国家灾难."最近在中科院举行的一次报告会上,中科院院士、艾滋病研究专家曾毅发出了
期刊
在营销管理里一项重要工作是电力业扩报装,也是提升电力行业行为建设、为电力顾客服务、扩张供应销售的重要表现。现从电力业扩报装运行的步骤方面进行了分析,探索研究了影响电
<心理学>研究指出:"具有学习兴趣的学生,会把学习看成是内心的满足,不当成负担."当前,各中小学开展的研究性学习是一种全新的教学观念和方法.在语文学科领域中的研究性学习是
期刊
"破坏灯火"的石墨炸弹在科索沃战争中,以美国为首的北约集团使用了石墨炸弹,其型号为GBU-94的炸弹是由SUU-66/B战术弹药布撒器和BLU-114/B子弹药构成的子母弹.BLU-114/B内装
期刊