面向微博舆情的Hadoop存储平台设计与实现

来源 :中国科学院大学(工程管理与信息技术学院) | 被引量 : 5次 | 上传用户:yuezhongs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet技术不断地迅速发展,网络舆情监控技术也蓬勃发展起来,通过网络舆情监控系统所获得的数据量急速膨胀,特别是微博舆情数据,具有数据增长快,数据类型多样,非结构与结构化数据并存等特点。所有这些特点使得如何存储和管理这些微博大数据成为本领域一项具有挑战的课题。论文结合微博数据及其舆情应用特点,采用大数据存储和处理的主流技术-Hadoop,设计和实现了一套面向微博舆情的Hadoop存储与管理平台。论文具体工作和贡献点如下:(1)分析了微博舆情的Hadoop存储平台需求和微博数据的特点,提出了一套基于微博舆情的Hadoop存储平台架构;详细地设计了基于微博舆情的Hadoop存储平台硬件子系统的网络结构和系统组成,构建了由13节点组成的硬件实验环境;(2)设计和实现了微博舆情的Hadoop存储平台软件子系统,包括Hadoop系统部署与优化、微博元数据管理的Mysql数据表设计;微博非结构化数据管理的Hbase数据表设计等;(3)研发了一套微博数据的检索和查询接口软件模块。并对构建的微博舆情的Hadoop存储管理平台的性能进行了测试与分析。实验结果表明,论文设计平台的能满足网络舆情分析应用的要求。论文构建的Hadoop平台已经应用在清华大学的“网络大数据的分发共享平台”等项目中。
其他文献
高中历史新课程的实施,旨在提高学生整体素质。教师在课堂教学中要积极反思,正视问题并努力寻求对策,关注学生历史学习方式的改变,全面培养学生的创新精神和创造能力。
【正】 西汉著名古文纾学家孔安国将伏羲、神农、黄帝列为三皇,将少吴,颅顼、高辛、唐尧、虞舜列为五帝。东汉班固,西晋皇甫谧、南宋郑樵等不少学者都采用了这种说法。曾经向
我们为什么要做梦?梦到底是什么?梦实在是人体中最神秘的现象之一,它曾被视作神的预言,而自弗洛伊德到当代神经科学,科学的力量正带领我们逐渐揭开梦之奥秘。 Why do we dre
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
【正】 社会的活动和社会的享受决不仅仅存在于直接共同的活动和直接共同的享受这种形式中,虽然共同的活动和共同的享受,即直接通过同别人的实际交往表现出来和得到确证的那
《琵琶行》是唐朝诗人白居易作于唐宪宗元和十一年秋的长篇叙事抒情诗,此诗运用多种修辞手法展现了琵琶女的高超琴技与悲惨境遇,抒发了诗人同为天涯沦落人的忧愁愤懑之情。修
采用应力加载系统和声发射测试系统,研究了三轴压缩试验中磷块岩裂纹破坏特性及声发射活动规律.试验及分析研究表明:磷块岩三轴声发射加载全过程可分为裂隙压密阶段、弹性压
本文结合国内外固体润滑膜的发展趋势,以及当前材料发展中有关'多相材料'的新理念,提出了一种新的固体润滑膜沉积方法--非平衡纳米复合等离子体镀膜法(NCUPP).采用该
<正>中山市人民医院是当地唯一的市级综合性医院,承担本市120多万常住人口及70多万暂住人口的主要医疗任务.我院住院病人的死亡谱不仅能从一个侧面反映当时当地居民的健康状
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技