基于流计算的调度数据网监测平台的研究与实现

来源 :中国科学院大学(中国科学院沈阳计算技术研究所) | 被引量 : 4次 | 上传用户:lyl478
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于电力调度数据网出现任何网络故障都可能发生极度严重的事故,因此具有极高的可靠性及安全性的要求。与此同时随着电力大数据时代的到来,当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求。因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成。本文结合调度数据网网络的特点以及监测准确性及实时性的需求,研究了流计算相关的主要关键技术和实现网络监测的主要方法。主要成果是构建出一个基于流计算的数据处理分析平台,设计和实现了平台的整体框架和数据网异常监测模型,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成监测应用,构建基于机器学习的网络异常检测模型,提出基于DBSCAN聚类算法的网络异常划分和基于SVM分类算法的网络异常识别来对模型进行实现。通过实验测试和分析,结果证明了平台的可用性,同时通过实验与传统云计算和批量计算等传统计算方式对比,实验验证了平台具有较好的吞吐量和实时性,数据网监测模型具有较高的准确率,能够有效实现网络监测,保障调度数据网安全运行。
其他文献
《河北科技图苑》(原名《河北图苑》)走过了风风雨雨的 12个春秋 ,简介了该刊办刊的体会 ,兼谈了我国图书馆学期刊目前存在的有关问题。
目的 :分析纵隔类癌的CT表现 ,探讨CT诊断价值。方法 :对 1994年~ 2 0 0 1年经 4所医院病理证实的纵隔类癌 6例进行临床、病理、CT对照分析。结果 :①临床无特异性表现 ,极少
在培养学生的创新能力时,应结合学生的年龄特点,遵循认知规律,尽力创设问题情景,激发创新思维的火花,尽力为学生营造创新氛围,让学生在自主学习中学会创新.在教学中了解学生掌握知识
目的:使用MRI评价直肠癌术后放化疗后的近期疗效.方法:选择我院2000年3月~2002年10月直肠癌术后放化疗后6~12个月患者35例,行临床和其它影像学检查筛选确立重点检查部位,然后分
2019年度的企业所得税汇算清缴已经开始进行,该项工作须在2020年5月31日之前完成。现对现行企业所得税收入计算中应进行纳税调整事项梳理并列出注意事项。一、视同销售收入的
病例资料患者,女,55岁.于3天前站立时无明显诱因突感左腰部不适,无力,不能站立.实验室检查均正常.
要想改变大学图书馆地位低下、解决经费困难等诸多问题,就要开阔眼界服务社会,从转变观念与落实行动两方面同时着手,创建新时代的图书馆。
摘 要 专业实践教学环节是培养高职学生职业技能的核心平台。浙江工商职业技术学院计算机网络技术专业在长期的实践教学改革与实践中,形成了科学合理的纵向“三层次”、横向“六模块”的实践教学体系,实践结果显示该教学体系切实可行且有效。  关键词 实践教学 教学改革 高等职业教育 教学体系  中图分类号:G40文献标志码:A      浙江工商职业技术学院计算机网络技术专业在长期的实践教学中,形成了科学合理
目的:评价比较磁共振胰胆管成像(MRCP)二维高级快速自旋回波(2D FASE)序列和三维高级快速自旋回波(3D FASE)序列对胆道术后胰胆管系统的显示及图像质量评估.方法:对72例胆道
对城镇公共供水征收水资源税是水资源税改革试点工作的一项重要内容。从实践看,全国10个水资源税改革试点既有在取水环节征收价内税,也有在售水环节征收价外税,采用何种方式