基于ELK与kafka的分布式工业日志系统的设计与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yixiangren1976
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在工业生产过程中,企业通常会遇到生产设备故障的问题,设备日志在分析设备故障原因以及了解设备损耗情况方面发挥着重要的作用,对设备日志的存储和分析工作由工业日志系统完成。近年来,我国提出中国制造2025,这意味着对工业日志系统提出了更高的要求,然而,传统的工业日志系统并不能满足其需求,这体现在不能高并发处理日志存储请求、缺乏对日志数据的实时分析以及对原始日志数据的处理方式较为简陋。因此,设计实现一个分布式工业日志系统来解决上述问题具有重要意义。本文以A公司的日志系统需求为背景,针对传统工业日志系统的不足,设计实现了基于ELK和kafka的分布式工业日志系统,采用分层设计的思想,将该日志系统分为收集层、缓冲层以及检索层,主要完成的工作包括:(1)针对传统工业日志系统无法高并发处理日志请求的问题,本文设计实现了一个日志收集服务子系统,该子系统采用Reactor事件驱动模式和线程池技术实现了高并发处理日志请求,设计实现了环形内存缓冲降低了日志文件磁盘I/O对服务器性能的影响。(2)针对传统工业日志系统缺乏对日志数据的实时分析的问题,本文设计实现了一个日志计算中心,日志计算中心基于Elasticsearch实现了日志数据的实时检索分析,并提供一个日志检索的可视化界面。(3)针对传统工业日志系统对原始日志数据的处理方式较为简陋的问题,本文设计实现了一个日志缓存服务子系统,该子系统采用logstash对实现了日志数据处理规则的灵活配置,并基于分布式消息系统kafka实现了日志数据的缓存队列。最后,本文对设计的工业日志系统进行测试分析,验证了日志系统能够高并发处理工业设备的日志存储请求,对原始日志数据的处理规则实现了可灵活配置,并实现了对日志数据的实时检索分析。
其他文献
本文从几个方面初步阐述了企业集团财务专业人才开发的一套基本机制,通过建立与职业发展通道相对应的能力素质标准体系、与岗位发展相统一的"晋级晋阶"培训体系、以能力素质
指导思想上的与时俱进是保持党的先进性的前提条件。“三个代表”继承和发展了马克思主义,丰富了执政党的建设理念,明确了扩大党的阶级基础和群众基础的辩证关系,提出了评判
在“十一五”规划中,城镇化将是广西发展的战略重点。目前,广西城镇化建设取得了较大成就,但与其他省份比较差距还很大。文章在简要介绍了广西城镇化现状的基础上,分析研究出
传统交通运输业的会计信息中缺乏环境成本的内容,造成会计信息失真。实施环境成本核算是现代交通运输业可持续发展的必然需求,交通运输业的环境成本通常包括自然资源消耗成本
政府在干预市场经济活动时,也会发生失灵的情况,我国政府失灵的原因主要是权力寻租、腐败,政府工作效率低,信息不畅,地方保护主义。要从三个方面防范和纠正政府失灵:明确政府
为了采用微束等离子弧粉末熔覆快速成形技术,在低碳钢基板上进行了铁基合金粉末Fe313的直接金属成形试验.通过光学金相显微镜和扫描电镜观察分析了成形金属零件显微组织和形
本课题选取两种含氮杂环化合物吡啶和喹啉作为研究底物。吡啶和喹啉同属于难降解有机化合物,毒性强,能致癌、致畸、致突变。同时吡啶和喹啉广泛存在于焦化废水、印染废水、制药废水等众多工业废水中,由此使得吡啶和喹啉成为环境领域中备受关注的一类污染物。本课题针对两种污染物吡啶和喹啉,第一步,用吡啶喹啉混合物定向驯化污泥,接着通过平板筛菌从污泥上清液中分离筛选出三株纯菌,经鉴定分别为Bacillus tropi
<正> 近年来,由于市场疲软、经济效益滑坡,调整产业结构、产品结构被提上了重要议事日程。然而,一些效益长期不佳的企业难以关停并转成了当前面临的一大难点。据我们对34户无
贪腐渎职行为是每个国家都无法回避的重大现实问题,相较于其他违法犯罪行为,贪污腐败问题更具特殊性,也更具危害性,使得行政监察机关和检察机关查办此类案件的难度急剧提升。针对此种现象,“双规”、“双指”一直被视为打击贪腐渎职行为的有力举措,在我国长期的反腐败工作中发挥着不可替代的作用。但“双规”、“双指”存在的合宪性难题以及具体适用过程中的各种不规范行为,使其饱受社会各界的质疑与争论。在反腐败日趋严峻且
目的:观察四君子汤对高脂饮食C57BL/6小鼠脂质代谢的影响,探讨四君子汤健脾益气化痰的作用机制。方法:40只C57BL/6雄性小鼠分为正常组(8只)和高脂组(32只),分别用普通饲料和