自主容器云平台日志的大数据分析研究与实现

来源 :中国电子科技集团公司电子科学研究院 | 被引量 : 1次 | 上传用户:jasongoes
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
服务信息系统正在不断地向网络化信息的模式转型,国产硬件设备也不断地更新换代,自主可控也成为了新信息时代的基本要求,随着信息时代的发展和新时代自主可控的要求,越来越多的服务和应用也将被部署自主可控的云平台上。部署在自主可控容器云平台上的服务和应用在运行的过程中,我们需要获取日志数据,来进行一系列的监控、统计、分析以及预测工作。然而传统日志采集和分析工具对于自主可控的容器云来说在技术上还存在着一些缺陷。本文的研究的目的是为自主可控容器云平台搭建的,大数据日志分析系统。本文主要是采用的是以Spark和ELK Stack开源框架为核心的数据日志处理技术,实现了对于整个自主可控云平台系统日志的大数据分析。将整个自主容器云平台的日志分析系统分为了四个部分:日志采集模块、日志存储模块、日志分析模块、结果可视化模块。为了适应自主可控容器云的特点,本文设计了自适应系统负载的日志采集算法,降低了日志采集对于容器,云平台性能的影响,从而保证了自主可控容器云上所部署的服务高效可靠的运行,并且也保证了日志数据一定的全面性。为了高效的执行日志分析的任务,本文对日志数据分析阶段进行了详细的研究和产品需求的规划,详细分析了影响Spark性能的因素,并且结合自主可控容器云的特点对于Spark集群进行性能优化。基于上述研究成果,本文论述了自主容器云平台日志的大数据分析的实现过程。自主容器云的大数据日志分析系统已经过测试并在工程项目中使用。
其他文献
目的探讨硝苯地平控释片在高血压伴稳定性心绞痛中的临床疗效。方法对符合高血压伴稳定性心绞痛诊断标准的患者随机分成两组,治疗组予硝苯地平控释片;对照组予卡托普利,观察两组
我国信托业凭借着独特的制度优势及功能作用,通过灵活的跨市场配置将社会闲散资金集中起来服务于实体经济,满足了金融投资者多样化的配置需求,成为我国金融体系中不可或缺的
目的 观察单肺通气(one-lung ventilation,OLV)期间,急性等容血液稀释(acute normovolemic hemodilution,ANHD)对患者机体生理的影响,探讨ANHD在OLV中应用的安全性.方法 40例ASA Ⅰ~Ⅱ级择期手术且需要行OLV的患者,随机均分为试验组(H组)和对照组(R组).H组术前行ANHD(Het目标为30%),R组不进行血液稀释(HD).术中
目的探讨止咳祛痰灵颗粒剂的制备工艺。方法以选用颗粒载药量为指标,对止咳祛痰灵颗粒剂的制备工艺进行优选。结果将药材提取2次,分别为30min及20min,加8倍量水;浓缩浸膏至45
日常生活空间是人类生活最基本的空间,是马克思主义学说源起场域和价值旨趣。然而,长期以来的严酷斗争形势,马克思主义的日常生活指向在相当长的一段时间内未被大多数人所重视。今天的世界,由日常生活所引发的问题越来越困扰人类,日常生活逐渐被人们发现。但是,日常生活所引发的问题究竟是靠资本家逻辑还是马克思主义学说来解决,不同性质的国家给出了不同答案,其结果就是马克思主义学说战胜了资本家逻辑。马克思主义作为源于
改革开放以来近30年的城市化进程中,我国城乡面貌发生了重大变化。伴随着产业结构的调整,人口向城市集聚,乡村社会管理、经济模式、文化生活均发生了显著变迁。乡土社会的变迁驱动了村落公共空间的演变,乡村公共空间的权属、类型、性质均发生了变化,乡村公共空间的类型与层级日趋多元,村落公共空间体系的复杂程度增加。本文研究对象通道县高步村坐落在湖南西南边陲的怀化地区最南端,位于湘、桂、黔三省(区)交界处。在漫长
教育评价是通过使用一定的技术和方法,对所实施的各种教育活动、教育过程和教育结果进行科学判定的过程。中国是教育大国,普通百姓十分关注自己孩子的学业成绩。而传统的应试
期刊
目的比较碳酰氰间氯苯腙(CCCP)、利血平、奥美拉唑三种泵抑制剂对鲍曼不动杆菌外排泵筛选效果,选择适合的主动外排抑制剂。方法应用琼脂稀释法检测环丙沙星对76株鲍曼不动杆菌的
本试验旨在研究杜仲叶(EUL)对绵羊肝脏糖代谢及其相关基因表达的影响。随机选取6~8月龄、体重35~40 kg的绵羊(杜泊羊×湖羊♀) 12只,平均分为2组,分别为对照组(CTL组)和EUL组(