基于Kafka的大容量实时预警数据汇集分发技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:linjinlong19880927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化战争的快速发展,获取预警数据的手段和能力得到了提升,我国预警领域的数据建设得到广泛关注。当前面临的主要问题包括:传统的情报数据的传输已经不满足现在预警数据的数据量大、数据类型多样、数据传输效率高等特点;各部门分别建立的预警信息系统,形成了数据壁垒,大量预警数据资源难以进行高效集成共享。因此,需要建立数据资源统一汇集、分发的基础平台。本文结合联合培养单位的实际项目需求,开展了基于Kafka的大容量实时预警数据汇集分发技术研究,主要工作概括如下:(1)在分析预警数据汇集分发系统实际应用需求的基础上,构建了基于Kafka的预警数据汇集分发系统架构,重点对系统中的核心模块—安全管理、数据采集、数据汇集分发、数据存储、汇集分发管理、数据检索进行了设计。(2)针对Kafka集群原生负载均衡存在的问题,提出了一种动态负载均衡算法,利用采集各代理节点运行时的负载指标计算负载值,给出Leader迁移和副本迁移的负载均衡策略,通过负载值测试和流量监控验证了所提方法的有效性。针对海量数据查询效率低的问题,提出了一种基于ElasticSearch的数据检索优化方法,通过ElasticSearch...
其他文献
学位
期刊
高铁酸盐是一种集氧化、消毒和絮凝等多功能于一体的水处理剂,具有广阔的应用前景。本文综述了高铁酸盐在消毒方面的研究进展,包括高铁酸盐对细菌和病毒的灭活特性及影响消毒效果的主要因素,并将高铁酸盐与氯、臭氧等常规消毒技术在消毒效果、消毒机理、消毒副产物生成量等方面进行了详细比较。高铁酸盐在较宽的pH范围内对不同水体中的细菌和病毒均呈现出较好的灭活效果,pH、温度和有机物是影响高铁酸盐消毒效果的重要因素,
科技创新是变革人类社会生产生活方式的一种强大动力,在推动人类历史发展过程中发挥着至关重要的作用。梳理中国共产党百年历程可以发现:中国共产党科技创新理论继承了马克思主义科技观,随着时代的发展而不断变化;中国共产党致力于科技创新发展,为实现中华民族伟大复兴历史使命奠定了坚实基础;中国共产党始终秉承科技创新为全人类谋幸福的价值旨归。
目的明确单次酒精摄入对睡眠呼吸暂停程度及相关参数的影响,并进一步探讨影响酒精摄入后阻塞性睡眠呼吸暂停(OSA)严重程度的相关指标。方法纳入2015年4月至2016年9月新疆维吾尔自治区人民医院高血压诊疗研究中心符合诊断标准的年龄≥18岁的男性患者共61例,分别在饮酒前和饮酒后进行2次睡眠呼吸监测(PSG),并于饮酒前、饮酒后PSG前抽取静脉血进行酒精浓度测定。按照酒精浓度与年龄进行分组,分别比较饮
随着现代化建设的逐步发展,我国的城市人口数量逐渐增多,但城市土地面积有限,针对城市土地资源紧缺情况,高层房屋建筑应运而生。高层建筑属于密集型建筑,因为其建筑层数较多,设计复杂,技术含量较高,所以在具体的施工过程中存在一定的安全风险,从而对施工人员的生命安全造成威胁。本文对高层房屋建筑施工中常见的风险类型及成因进行了全面的分析,并提出了安全风险管理的有效性措施,以供相关行业参考。
桥梁健康监测系统是大跨桥梁不可或缺的工具,而损伤识别是发展桥梁健康监测系统的重要目标。然而随着海量数据集的积累,传统损伤识别理论在各种健康监测系统中的应用陷入瓶颈,大量监测数据未被彻底挖掘。为了挖掘桥梁健康监测系统蕴含的大量隐藏信息及改进传统结构损伤识别方法的不足之处,本文提出了立足于监测数据和数据驱动的损伤识别方法。以Matlab编程为基础,开发了桥梁监测数据预处理程序,通过可信度评估、异常数据
期刊
电压型 PWM 变流器(VSC)因其控制灵活、能量可双向流动等一系列优点,使其在不间断电源、并网逆变器以及有源电力滤波器等功率变换系统中获得了广泛的应用。直流端口电容的尽限设计是决定VSC可靠性和功率密度的关键因素之一。而直流端口电容设计的两大目标:功率损耗和电压纹波,均依赖于直流端口谐波电流的准确分析计算。目前,基于频域的双傅立叶变换和基于时域的有效值方法及其研究成果被广泛应用在直流端口的电流分