基于Spark的固网业务日志统计分析平台设计与应用

来源 :电信科学 | 被引量 : 0次 | 上传用户:jj978163com
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网时代中,人们通过网络传递信息,随着网络速度日益提升,信息的传递量也逐日增大,网络信息以日志数据的形式存在,这些数据背后蕴含着重要价值。对于海量的日志数据,仅靠当前传统单机数据分析方法已无法满足需求,以至于日志数据没有得到有效利用,因此需要探索新型高效统计分析方法来挖掘这些海量日志数据的价值。基于Spark流数据计算、HDFS分布式架构以及Kafka高吞吐分布式系统搭建一款适合固网业务日志数据实时分析的统计平台,实现快速查询统计、个性化数据统计任务定制和实时日志数据监控,协助运维人员及时发现问题,避
其他文献
我国华南的江西乐平、浙江长广和贵州水城地区以出产特种煤一树皮煤而闻名.其煤岩组分中含有特殊组分树皮体,该煤具有较高的挥发份、氢含量及焦油产率等化学特征,同时也具有良好
作者观察到老师在教学中普遍情感缺失的状况,以人本主义为依据分析其危害,并给出教师情感投入的对策,以期改善教学中教师的情感投入状况、真正促进学生的情感发展。
批评,是一种艺术。不少老师认为,学生有错就应该批评,批评得越严厉效果就越好。其实,正确的批评,不仅能体现一个教育工作者的高度责任感,而且也能体现其高超的教育艺术。
本刊综合消息2004年5月24日,白云山制药股份有限公司与香港和记黄埔(中国)有限公司在广药集团举行合资意向签字仪式,双方达成签订成立合资企业白云山和记中药有限公司的意向,
通过对东北低山丘陵区典型流域黑牛河流域土地利用现状的调查,分析研究了该区土地适宜性与生产潜力.黑牛河流域土地生产潜力、人口承载力及土地适应性分析与评价结果表明,黑
在并联型有源电力滤波器直流侧电压常规PI控制器的基础上,设计了一种粒子群PI控制器并比较了二者的仿真波形,在突加阻感负载的情况下分别应用常规PI控制器和粒子群PI控制器进行
一、欧洲建筑市场的特点 1.欧洲建筑市场将保持低速增长。 欧洲建筑业(不包括东欧)近年来同其经济发展一样一直保持低速增长,在1985~1988年间,欧洲建筑业年均增长4.2%。在1988
1原实验不足在做"摆长怎样影响摆动次数"的实验中,教材的设计是用金属圆片在木条(或塑料棒)上固定的位置不同,研究其对摆动的快慢是否有影响(见图1).提供给学生的木条要直,粗
分析了水文行业自动监测设备的特点以及建设现状,指出自动监测设备在运行管理中存在的问题,并结合工作实际,分别对系统规划、设备选型、人才培养及管理模式等方面提出建议,采
目的:探讨6~18岁高功能孤独症患者的灰质体积异常脑区以及异常脑区发育特点。方法:纳入19例6~18岁符合美国精神障碍诊断与统计手册第4版孤独症诊断标准且总智商≥70的高功能