基于大数据技术的EAST实验数据访问日志分析系统的设计

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户：rainbow0938

【摘要】

：

EAST装置产生的实验数据规模日益变大，对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的。为了方便实验人员对MDSplus服务器上的用户进行管理，设计一个MDSplus日志

【作者】

：

章琦皓王枫王月婷

【机构】

：

中科院等离子体物理研究所,中国科学技术大学

【出处】

：

计算机应用与软件

【发表日期】

：

2018年9期

【关键词】

：

MDSplus日志 HadoopMR模型 Spark Streaming Flume Kafka

【基金项目】

：

国家重点研发计划项目(2017YFE0300500,2017YFE0300505)

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

EAST装置产生的实验数据规模日益变大，对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的。为了方便实验人员对MDSplus服务器上的用户进行管理，设计一个MDSplus日志离线和实时分析系统。MDSplus日志分析系统采用的大数据处理框架是Hadoop生态圈的MapReduce离线计算模型和Spark生态圈中的Spark Streaming实时数据计算模型。系统还使用Flume、Kafka的日志监测、聚合、分发等关键性技术，使得MDSplus海量日志数据的处理能力变为可能,且能够在秒级

其他文献

电缆隧道巡检AGV视觉导引技术的研究

路径识别与路径跟踪是AGV（Automated Guided Vehicle）视觉导引技术的两个关键问题。应用迭代法分割路面图像后，使用先闭后开的形态学方法去除图像噪声，然后应用改进的场扫描方法

期刊

AGV视觉导引数学形态学路径识别模糊控制automated guided vehicle （AGV） vision - guided mathema

智慧赋能高质量发展——第五届产业园区物业管理发展论坛暨产业园区物业服务企业联盟会议在大连召开

7月11日,第五届产业园区物业管理发展论坛暨产业园区物业服务企业联盟会议在大连顺利召开。会议由中国物业管理协会(下简称"中国物协")指导、《中国物业管理》杂志社主办、大

期刊

物业管理物业服务企业产业园区高质量发展第五届

基于FEK的大数据网络日志分析

信息技术在企业中的迅速普及与应用,随之带来的是大数据处理的困难与挑战。企业每天生成很多日志文件,如果能实时处理分析日志数据,企业就能够提高管理效率,为生产经营提供更

期刊

flumeElasticsearchkibana网络日志分析

电力体制改革四十年的回顾与思考

编者按$$本文对近40年来我国电力体制演变进行了理论解析，认为“国有经济在电力行业中发挥主导作用，同时电力作为基础性行业要承担国民经济宏观调控的职能”是我国电改不同于其

报纸

丹酚酸B对糖尿病肾病模型大鼠肾组织中Nrf-2和HO-1的影响

目的观察不同剂量丹酚酸B对糖尿病肾病模型大鼠肾组织中转录因子NF-E2相关因子2(Nrf-2)和血红素加氧酶1(HO-1)的影响。方法40只SPF级雄性SD大鼠随机分为对照组(不建模)、模型

期刊

糖尿病肾病血红素加氧酶-1大鼠Sprague-Dawley丹酚B生化指标转录因子NF-E2相关因子2

我国金融行业间风险相依性研究——基于隐马尔科夫混合Copula模型

基于GAS边缘分布模型,将混合Copula嵌套于隐马尔科夫模型框架中,构建高维动态混合Copula模型,实证研究了我国金融行业中的银行、保险、证券和信托4个子行业间的动态相依性与

期刊

动态风险相依混合Copula隐马尔科夫模型EM算法

DG-1025/18.2-Ⅱ6型锅炉吹灰特性研究

分析了电站锅炉各受热面吹灰对蒸汽参数的影响,对某发电厂DG-1025/18.2-Ⅱ6型锅炉进行了吹灰方案改进,优化了锅炉吹灰系统吹灰方式,可以按比例减少吹灰次数,减轻了受热面磨损

期刊

锅炉吹灰受热面积灰boiler soot blowing heating surface ash deposition

应用模糊聚类的电力系统网络重构分析

以提高电力系统电压稳定裕度为目的，基于模糊聚类方法对网络重构进行分析。若系统网络发生故障（如某联络线发生短路、过载等）或因不确定性问题引起其他网络故障，应迅速切除。为不

期刊

网络优化电力系统稳定裕度聚类分析重构

组织文化的研究论述

组织文化作为企业管理的一个核心概念,在西方组织行为学中占有重要地位。文章首先介绍了组织文化的兴起与发展;接着着重探讨了组织文化的相关理论与功能;最后展望了该领域的

期刊

组织文化理论作用

MAYFIELD头架固定系统在颈椎后路手术体位中的应用

MAYFIELD头架固定系统是由神经外科医生Dr．FankH．Mayfield于1968年发明的。由于其具有固定可靠、可调性、观察方便等特点，MAYFIELD头架固定系统在国外已广泛应用于神经外科手术，

期刊

颈椎颈椎后路手术MAYFIELD头架俯卧体位

基于大数据技术的EAST实验数据访问日志分析系统的设计

与本文相关的学术论文