【摘 要】
：
近年来互联网行业高速发展,软件的规模和用户都持续增长,传统的单体应用已经无法满足用户的需求。企业为了追求高性能、高可用且稳定的目标,通常会使用微服务架构对软件进行设计,将软件整体的功能分为不同的模块,每个模块开发、构建和部署以及日渐复杂的互联网软件架构都给企业运维人员带来很大的挑战。软件系统在运行过程中产生的海量微服务日志和中间件日志是运维人员分析和监控软件的重要信息来源,所以,企业需要一套能够对
论文部分内容阅读
近年来互联网行业高速发展,软件的规模和用户都持续增长,传统的单体应用已经无法满足用户的需求。企业为了追求高性能、高可用且稳定的目标,通常会使用微服务架构对软件进行设计,将软件整体的功能分为不同的模块,每个模块开发、构建和部署以及日渐复杂的互联网软件架构都给企业运维人员带来很大的挑战。软件系统在运行过程中产生的海量微服务日志和中间件日志是运维人员分析和监控软件的重要信息来源,所以,企业需要一套能够对日志进行统一收集、处理、分析并且能够可视化展示日志信息的近实时日志系统。本文基于当下流行的微服务框架,设计并实现了以Gray Log、Elasticsearch为核心的日志收集和分析系统。结合互联网软件的架构以及企业对互联网软件日志的需求,在日志系统需求分析和架构设计的基础上,本文的主要工作包括:（1）基于Log Back日志框架研发日志子系统log-servcie实现对微服务日志的统一规范、统一采集,使用File Beat对中间件日志进行采集,实现无入侵式各类日志收集;研究日志数据的处理方法,使用Gray Log的Pipe Line、Extractor组件对日志数据进行关键信息提取和处理,实现对日志中隐私信息的数据脱敏。（2）研究海量数据的存储、检索、分析等技术,在开源组件Elasticsearch中设计冷热架构对日志进行存储,利用Elasticsearch的高性能全文检索与计算能力实现对日志数据的检索与统计分析,降低了海量数据存储成本但不影响检索速度和IO性能;基于无监督学习的孤立森林算法研究对日志数据的异常检测,实现对无明显特征的异常日志的快速定位。（3）基于Gray Log Dashboard组件研究日志可视化功能,以图表的形式可视化展示日志信息的统计分析结果,提升企业在日志方面的处理能力。（4）在日志子系统log-servcie中增加面向企业的日志相关定制化功能,比如研发Kafka Plugin插件,实现将Gray Log中存储的日志数据投递至Kafka节点;在原始日志中植入字段Trace Id、生成操作日志、动态修改日志等级等,为企业的日志处理提供便利。
其他文献
随着交通传感器的广泛应用和新兴传感器技术的发展,交通流量数据显著增加,通过信息化方法收集和分析交通流量数据并进行短期交通流预测具备了可行性和必要性。然而,交通流是一个实时、完全非线性、高维、非平稳的随机过程,难以捉摸的交通流变化模式自然包含由内部和外部变化（包括交通事故和极端天气）引起的噪声,这使得短期交通流预测成为一项有挑战性的任务。在过去的几十年里,学者们提出了预测不同交通条件下交通流量的简单
异常值检测是数据挖掘领域的研究热点之一,在医学、金融、电信等领域引起了广泛关注。随着科学研究的深入发展和任务复杂性的提升,数据的维度与规模在不断地扩大,这为完成高维数据的异常值检测任务带来了巨大挑战。并且针对不同类型的数据,需要开发不同的方法来完成异常值检测。对于表格型数据,虽然已经提出了许多相关技术,但其中大多数都面临着对象的邻域大小难以确定以及高维空间中的距离不可靠的问题。对于图像数据,基于异
我国修建的数量众多的大断面隧道工程，极大地提高了交通的便捷度。然而，在软弱岩层中修建大断面山岭隧道时，施工过程并不顺利，经常会遇到掌子面失稳、地表塌陷等工程问题。对此，文章以乌鲁木齐绕城高速（西线）工程西山隧道为工程背景，针对软岩及复杂地质大断面长大隧道的施工问题，立足隧道施工过程中不同部位的受力情况，结合现场的工程实例，进行理论分析研究，设计数值仿真试验，并用极差分析法分析试验数据，对大断面软岩
光伏发电被认为是从根本上解决我国能源问题的有效途径。在近三十年里,太阳能电池的开发和应用取得了巨大进展。作为第三代的典型代表之一,染料敏化太阳能电池（dye-sensitized solar cells,简记为DSSCs）,由于它具有生产制造成本低廉,环境友好无污染,器件兼容性良好等优势,吸引了广泛关注。然而与前两代传统太阳能电池相比,DSSC器件的光电转换效率（photoelectric con
随着信息时代的飞速发展和人类生活水平的快速提高,柔性压敏传感器在塑造智能技术的方面发挥着举足轻重的作用。压敏传感器的两个主要性能指标分别是灵敏度和检测范围。针对这两个关键指标,科研工作者们设计了不同结构来满足其使用要求,包括传统混合式结构、平面微结构和三维多孔结构。相比较于传统混合式结构和平面微结构,三维多孔结构在兼顾灵敏度和应力检测范围方面表现更好。但是,目前针对三维多孔结构柔性压敏传感器的各项
语音信号作为人类生活与工作中最重要且不可或缺的交流手段,在学界研究领域与业界应用领域受到很高的重视。每个人的语音特征都是独一无二,从理论上讲,语音特征,或者被称为声纹,就像人类的指纹一样,几乎不会有两个人拥有相同的声纹。因此,可以通过对不同人的声纹进行识别,从而实现识别不同人身份的目标。而这种技术,就被称为声纹识别,或者说话人识别。与人脸识别,虹膜识别和指纹识别一样,声纹识别也属于生物识别技术。在
推荐系统（Recommender Systems,RSs）经过几十年的科研探索以及商业应用,目前已经发展成为一种用途广泛的基本工具,可以在我们工作、生活、商业运作、学习、社交和娱乐等各个日常方面提供更有信息量及效率的选择。在内容服务日益过载的数字经济时代,用户需要从大量快速增长的内容、产品和服务中做出选择,推荐系统的作用已变得不容忽视。由于推荐系统拥有巨大的应用价值,近几十年来它始终处于研究热门领
无机CsPbI3材料由于优异的半导体特性、出色的热稳定性成为光电领域的明星材料,引起了相关领域内学者的普遍关注。经过几年的发展,CsPbI3钙钛矿太阳能电池的功率转换效率（PCE）已经超过了20%。然而,由于CsPbI3材料中容忍因子的限制（组分Cs+尺寸太小）,使其在室温下无法维持长期稳定的相结构。鉴于此,我们提出了在CsPbI3中引入难挥发的大体积有机阳离子来诱变本征的三维结构,使其沿特定的晶
随着互联网技术的快速发展和网络基础设施的不断完善,我国已有超过7.8亿的人选择在网上购物,大量的用户购买行为产生了海量的数据,电商平台如何利用这些数据,借由机器学习技术对客户未来的购买行为做出预测,已经成为当下的研究热点。购买金额预测是指对客户未来一段时间购买的订单总金额进行预测,企业可以通过购买预测来实现调整备货策略、制定业务人员的销售目标、制定下一个周期的经营预算等目的。为了实现用户的购买金额
以2年生拧筋槭嫩枝为试验材料，采用生长素NAA、IBA,浓度0、500、1 000、1 500 mg/L和速蘸时间0、5、10、15 min，研究拧筋槭嫩枝扦插技术，探讨生长素种类、浓度和时间对拧筋槭嫩枝扦插生根的影响，试验中发现不同浓度IBA、不同速蘸时间对拧筋槭根数和根径影响显著，对根长影响不显著；在相同NAA与速蘸时间处理下（NAA1 000 mg/L、速蘸时间10 min）,IBA为1 5