基于大数据的日志管理系统的设计与实现

被引量 : 13次 | 上传用户:hudawen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算技术实现了软硬件资源的共享,极大节省了用户基础设备的购置和管理成本,促使越来越多的企业将应用程序部署在云平台之上。云计算提供按需服务,动态分配资源,造成了应用程序日志的丢失,同时分布式存储的日志也不便于查看和分析。日志信息对于系统的维护和优化具有重要意义,因此,将云平台下应用程序的日志进行统一的收集和管理是非常必要的。针对云计算环境下应用程序日志的特点,本文做了如下的研究工作:(1)云计算根据应用程序的负载变化情况,动态分配计算资源,造成了应用程序日志容易丢失的问题。本文研究和对比了主流的分布式日志收集系统,从中选择Flume对日志进行集中收集管理。(2)各种应用、中间件、系统等每天都会产生大量的日志,这些日志经过日志收集系统聚合之后,形成了海量的日志信息。传统的关系型数据库已经不能很好的面对海量数据的存储需求。本文考察了当前流行的非关系型数据库,重点研究了其中代表性的MongoDB数据库。研究发现,MongoDB无模式的存储方式、简便的集群扩充等特点非常适合作为海量异构日j志的载体。在进一步的研究中发现,MongoDB基于Chunk块的数据均衡策略存在性能严重下降的问题。本文提出基于Chord环的数据均衡策略,依此改造了MongoDB集群,并通过实验验证了改造的有效性。(3)传统的单机日志分析方法面对海量日志时已经力不从心,本文对并行化日志分析方法进行了研究。并行计算模型MapReduce具有简单、适用性强、处理数据规模大等优点,可以满足海量日志的分析需求。最后,基于以上的研究,本文使用Flume、MongoDB和MongoDB自带的MapReduce实现了日志的收集、存储和并行分析,设计并实现了日志管理系统。该系统实现了对日志的集中管理,方便了开发人员和运维人员查看和分析日志信息,充分利用了日志的价值。
其他文献
苏东坡是有宋三百年甚至可能是中国历史上最大的实力派与偶像派巨星。其生命存在富有崇高和优柔兼而有之的美学内涵。其崇高一面体现于忧国忧民尤其是在对待“敌人”和女性方
研究背景与目的妇科手术是盆腔部位手术,手术的创伤导致术后凝血和纤溶系统会发生一系列变化。如果凝血和纤溶系统平衡受到破坏,出现高凝状态,就会导致静脉血栓性疾病(venous
<正>绿大地从实业致富到走向投机诈骗,也只是实业空心化,主业荒漠化的一个缩影而已。3月15日,号称银广夏第二的绿大地一案,因昆明市检察院抗诉,正被重新审理。为避免股价波动
随着计算机进入控制领域以及高开关频率、全控型第二代电力半导体器件的发展,脉宽调制(PWM)的直流调速系统在调速控制中得到越来越普遍的使用。为此,介绍了基于单片机的直流P
GIS是在计算机硬件与软件支持下,运用系统工程和信息科学的理论,科学管理和综合分析具有空间属性的地理数据,以提供对规划、管理、决策和研究所需信息的空间信息系统。经过40
我国玉米秸秆资源丰富,年产量约2亿t,是反刍动物重要的粗饲料来源。秸秆作为饲料,限制因素是粗蛋白含量低、粗纤维含量高,如何提高秸秆饲用价值是利用秸秆作饲料的前提。为此
布迪厄是法国当代著名社会学家,更是法国当代著名哲学家。但由于多种原因,我国学界并没有把他作为法国当代著名哲学家来对待,因此,我国学者对布迪厄的哲学思想了解得不多。布
中华优秀传统文化融入当代思想政治教育是可行的。从教育目标上看,中华优秀传统文化与当代思想政治教育都以培养人的德行为目标。从教育内容上看,中华优秀传统文化与当代思想
思维能力的发展与提升是语文的核心素养之一。在语文教学中,教师应注重对学生进行思维能力的培养。课堂上,教师要采取多种教学策略,对学生进行思维训练,使学生的思维由零散走
为了解析纺织服装产业集群品牌发展的影响因素,为企业更好地实施集群品牌的营销策略提供思路,运用定性与定量相结合的方法,从企业能动性的角度,对纺织服装产业集群品牌发展的