基于Hadoop的海量传感数据管理系统

被引量 : 0次 | 上传用户:guomenling
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着电脑、智能手机、传感设备等生产或传播数据载体的不断增多,导致了全球数据的快速增长,数据类型也在日益丰富。据截止2012年的数据统计,全球数据总量将达到2.7个ZB,其中以电子商务为代表的交易数据、以社交网络为代表的交互数据、以移动终端数据为代表的传感数据三类占主导的非结构化类型的数据将占据数据总数量的80%到90%,其增长速度远远高于结构化数据,我们已经处在了一个大数据的时代。为了有效地管理和高效分析上述海量数据,传统的数据库系统架构己然显得力不从心,逐渐无法胜任当前的需求。2003年以来,谷歌陆续公布了对后来云计算发展有深远影响的三篇论文:GFS, MapReduce和BigTable。Apache Hadoop开源项目根据谷歌的论文推出了Hadoop系统,实现了自己的HDFS, MapReduce和HBase,该系统现在已被工业界、学术界广泛认可和采用,成为一个安装简便、开发周期短、性能稳定、功能完备的云计算平台系统。在我们的系统中,要管理传感器收集到的数据。因为传感器会每隔一定的时间就采集一次数据,并且传感器数量众多,这就会产生大量的传感数据,所以我们选用了一个可扩展和高并发的Hadoop云平台。另外,本系统还需要有个实时读写的功能,只使用Hadoop不能达到要求,因此我们选用了支持实时读写的分布式数据库系统HBase。本文将Hadoop和HBaes结合起来,开发出了海量传感数据管理系统,实现了传感数据的高效管理,并可以通过web界面来实时查询传感器收集到的数据。
其他文献
空馈相控阵天线因其馈电系统结构简单、造价低而得到了广泛的应用。现代相控阵为了适应雷达远距离、高分辨率的探测要求,正在向高频率、宽瞬时带宽、宽扫描范围和高功率孔径
现代信息技术的发展,网络的普及,使教育观念与手段的更新成为可能。本文就当前形势下如何运用现代信息技术创设问题意识氛围,保护和培养学生的问题意识,为培养学生学习兴趣,
市场竞争的焦点在全球竞争日益激烈的环境下,已然发生了剧烈变化。由原先以成本节约为主的企业之间竞争,转变成以创新为主的企业竞争。创新能力的是否具备成为了决定企业能否
人事管理是企事业单位管理的一个重要分支,也是企事业单位内部处理的最频繁的业务之一。在我国社会经济的高速发展以及现代化企业制度的建立,以往手工方式的人事管理工作模式已
根据某矿用自卸车机械可调式座椅的结构(包括坐垫,靠背,头枕),通过Pro/E三维软件建立了几何模型,并应用ANSYS进行了有限元分析,通过应力分析,静强度符合国家标准。针对分析结果
高等教育大众化的今天,提供让学生满意的教学质量,与教师的个人魅力是息息相关的。有个人魅力的教师,有着独特的感染力、影响力与号召力,学生爱戴,教学效果好。
目的对2015年全球各国向WHO报告的中东呼吸综合征(简称MERS)病例进行分析,了解其流行病学特征,从而为防控工作提供指导。方法从WHO、沙特和韩国等网站收集2015年全球各国所报
江南园林作为中国古典园林的优秀代表,具有很高的艺术与工艺价值。它在造园手法上具有典型的特征:注重意境的营造,并运用含混的空间秩序建构内涵丰富的精神场所;平静淡雅的色
土地价格实际上是土地经济价值的反映,是为购买获取土地预期收益的权利而支付的代价,即地租的资本化。收益还原法正是居于这种理论基础而得于引申并成为不动产估价中常用方法
土地平整工程是土地整治项目的核心内容。该研究针对江苏省大多数情况下基本农田土地整治项目的土地平整进行了初步探讨,并提出一种简便的计算方法以供参考。