基于Hadoop的海量电信数据的分布式存储和查询系统的实现

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:honghe2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的迅速崛起,各种功能丰富的智能手机在中国已是遍地开花,使得用户接入互联网的方式和用户行为正在发生翻天覆地的变化;用户在使用电信业务的过程中产生的数据成倍地增长,各个行业也在不知不觉中经历着深刻的变革。传统的关系型数据库在存储能力和查询性能等方面无法满足对这些大数据的的处理,需要一种能承载并且能够高效处理大数据的平台。在此背景下产生了很多云计算平台,其中被大家广泛认可的分布式技术就是Hadoop。Hadoop是Apache下的一个分布式应用平台,在处理大数据方面,它能够可靠的存储海量数据且能高效的计算数据,同时做为集群存在具有很好的可伸缩性。Hadoop有两个核心的组件,分别是HDFS分布式文件系统和MapReduce并行计算框架。其中,HDFS是用来存储数据的,它是分布式集群中数据存储管理的基础,是基于流数据模式访问的,可以方便地处理超大文件。HBase是一个按列存储的分布式数据库。它适合于存储大数据,支持实时查询,只提供了单Rowkey的查询方式,可以使用MapReduce批量加载数据或运行分布式的全表扫描。目前越来越多的互联网、运营商等单位在Hadoop和HBase方面的研究投入了很大的人力和物力,并取得了很大的成果。本论文利用Hadoop的HDFS分布式文件系统和HBase的查询的特性,设计并实现一个存储管理和快速查询海量数据的应用程序。论文的主要工作如下:首先,研究与讨论了 Hadoop的相关技术,主要涉及到了 HDFS分布式文件系统,新旧版MapReduce架构,HBase分布式数据库;其次,设计并实现了基于web的HDFS文件浏览器,以方便用户管理HDFS中的文件;最后,将Solr全文搜索服务器与HBase结合,实现了 HBase的多条件查询。
其他文献
棘阿米巴性角膜炎是一种严重的致盲性眼病,其病原体棘阿米巴是一种机会致病原虫,具有多种毒力因子.目前研究表明,引起棘阿米巴性角膜炎发病的关键始动因子是甘露糖结合蛋白,
写作教学是小学语文教学中的重要内容,写作兴趣是小学生作文的动力。本文从利用范文,培养写作兴趣;联系生活,挖掘写作兴趣;大胆想象,调动写作兴趣三个方面探讨了培养学生写作
树状大分子具有独特的树状结构、单分散性和丰富的表面官能团,这使得它成为小分子药物的理想载体。然而,常用的树状大分子表面带有较多的正电荷基团,使其和蛋白质分子间有明显的相互作用和显著的细胞毒性。这会促使生物体内的网状内皮系统将其从血液中清除。因此,通过在树状大分子表面修饰亲水性物质能提高其生物相容性是十分必要的。其中,两性离子材料通过静电水合作用具有强的亲水能力。通过在纳米粒子表面修饰两性离子材料能
高等教育是一种投资行为,高等教育个人收益率是衡量高等教育个人投资与回报的一种重要指标,它不但可以反映出不同层级高等教育的投资回报情况,也可以在一定程度上反映出接受了不同层级高等教育者在劳动力市场上的稀缺性。本文以人力资本等理论为理论基础,通过搜集2017年山东省不同层级高等院校毕业生的月均收入及相关系数等数据,对山东省不同层级高等教育个人收益率进行了测算和研究,证明高等教育在当前依然是一种可行的投
日本在台湾、香港当代文学中呈现出不同形象。台湾文学中的日本形象是复杂的,有着特定的发展过程:从光复初期日本形象的多元化,到20世纪70年代文学作品多以“反目”为题材,再到20
<正>你是从小学二年级开始写诗的。这一年,成绩并不算差的你被留级了,是父亲一手促成的这件事。他朴素地认为,盖房子打地基最重要,养孩子也一样,多上一年,学得自然会比其他人
论述了明清时期新安商人的刻书条件,成就,动力及其对传播文化所起的作用。
劳伦斯看穿了资本主义"民主",因而批判资产阶级的惺惺作态;他认为无产阶级愚昧低级,因而亦不寄希望于无产阶级解决社会矛盾.他为病入膏肓的社会开出了"精神贵族"统治的药方,
利用高性能、低功耗微控制器C8051f040设计一种新型信号采集处理电路,通过多通道模拟多路开关CD4067实现传感器阵列中的多个敏感元件分时工作,在保证每个敏感元件标定周期为2星期的条件下,8个敏感元件组成的敏感元件阵列的标定周期达到16个星期。实验表明,该电路可以实现多个敏感元件分时工作,并具有较高的测量精度。
前几讲已经讲了代表3种种类的现场总线,即以FF为代表的适用于PA(过程自动化)领域的现场总线;以PROFIBUS为代表的适用于FA(工厂自动化)领域的现场总线以及PROFINET为代表的实时工业