【摘 要】
:
大数据时代,舆情监测和分析越发重要。针对单机爬虫效率低、可扩展性差、存储管理困难及信息展示不友好等问题,设计并实现了一套基于Hadoop的航天网络舆情监测系统,系统首先利用
论文部分内容阅读
大数据时代,舆情监测和分析越发重要。针对单机爬虫效率低、可扩展性差、存储管理困难及信息展示不友好等问题,设计并实现了一套基于Hadoop的航天网络舆情监测系统,系统首先利用基于MapReduce的分布式网络爬虫进行数据抓取,以HDFS作为底层存储系统,在其上构建基于HBase的分布式数据库对舆情信息进行统一存储管理;通过提供定制化查询功能及相关辅助功能协助舆情分析人员实时监测舆情。测试结果表明,系统可以有效地实现对网络舆情的监测并实现定制化展示,达到了设计要求。
其他文献
考虑电力系统的非线性特性,基于Hamilton能量函数理论,设计了一种新的非线性稳定控制器。阐述了广义哈密顿系统理论及Hamilton能量函数理论,然后针对包含静止无功补偿器的单机无
根据飞机高频天线输入阻抗的测试数据,对机载垂尾隐蔽式高频天线进行较精确的电磁建模。结合飞机复杂形体的整机电磁模型,对高频天线进行矩量法数值仿真计算,分析飞机某些关
针对苏里格东区致密气藏储层受多期不同类型沉积、成岩作用及构造等因素影响,成岩过程压实和胶结强烈,成岩阶段和作用复杂的特点,分析了该区盒8上、盒8下、山1、山2致密砂岩储层
京九铁路衡水、聊城、菏泽地区总图设计体会杜参1总图布局简介1.衡水地区衡水西区段站,设在距既有衡水站以西约4km的石德线(双线)上。京九线自该站西端引入,经衡水西站、衡水站后南下。
一般认为,我国的宪法是刚性宪法,然而,根据宪法修改的实际频率与程度来分析,却不免有所疑问。我国的修宪一直采用直接针对文本的形式,是一种刚性修宪的方式,由于改革的推进和
摘要:目的:探究硫普罗宁这种药物的药理作用以及临床应用。方法:对110例患有急慢性肝病的患者进行临床的药物治疗,同时对该种药物的药理资料进行相关的总结和分析。结果:通过一段
图像在成像、传输、转换或存储的过程中会受到各种随机干扰信号即噪声的影响,从而会使画面变得粗糙、质量下降、特征淹没。为了减弱噪声、还原真实的画面,就需要用到降噪滤波
全民战“疫”取得积极成效之际,各地复工复产也逐步走上轨道。这场新冠肺炎疫情,或许会短期影响中国经济发展之“时”,却难以撼动中国经济长期向好之“势”。$$不可否认,疫情对中
DCS基本思想是分散控制、集中操作、分级管理、配置灵活以及组态方便,它紧密依赖于自动控制技术、计算机技术、通讯技术以及显示技术,实现了生产过程的集中监控和集中管理,避
针对容迟容断网络(Delay/Disruption Tolerant Networks,DTN)在遇到路由空洞问题时缺乏有效回避路由空洞区域的方法,导致信息端到端传输时延较大的问题,提出一种基于两跳ACK