基于Chukwa的大规模日志智能监测收集方法

来源 :计算机工程与设计 | 被引量 : 0次 | 上传用户:hellomfc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.
其他文献
为探讨军事医学和临床科研工作的管理,本文阐述了在实践中要处理好军事医学与临床医学研究的关系;处理好应用研究与基础研究的关系;处理好科研人才与基础设施的关系;处理好自
如何对侦查权进行有效控制一直是我国刑事司法实践中的难题。在传统理论关注微观领域的制度构建时,本文试图从一种宏观的视野出发来重新探讨侦查权控制的相关问题,并拟从程序控
测定我国东南地区712块岩石样品的热导率数据,计算了各类岩石的平均热导率值。该区中沉积岩的热导率值普遍高于华北地区同类岩石的热导率值。砂岩和泥岩的平均热导率值分别为3.41±1.22W/m.K和
网络教学是运用支持软件工具、教学资源在网络教学平台上传递教学内容的实施过程与互动活动。主要特性在于其具有数字化“语言”的多样统一性,非线性结构的深度延伸性,网络教学
在系统集成的过程中,异构信息资源给人们信息共享、处理造成了困难,而异构信息中的语义表示方法一直是一个难点.该文采用基于信息语义的定义方法,提出一个以语义为核心的信息
村级集体"三资"清理和处置是行政村规模调整中一项十分重要的基础工作。正确处置规模调整村的集体"三资",确保调整村集体"三资"的安全完整和平稳融合,对促进新村经济可持续发展、加
以鲜活饵料双齿围沙蚕(Perinereis aibuhitensis)、赤子爱胜蚓(Eisenia foetida)和人工配合饵料投喂凡纳滨对虾(Litopenaeus vannamei),并测定各种饵料对其生长和免疫指标的影响。结
在制备聚合氯化铁(PFC)的过程中,加入一定量的硅酸钠(NaO·3.2SiO2),制得新型混凝剂聚硅氯化铁(PFSC),试验了其混凝性能及影响因素。实验结果表明:Si的含量,pH值和碱化度都会影响PFSC的混凝效果。在铁硅摩尔比
1995年ADI公司正式进入中国,25年来,中国市场发生了翻天覆地的变化,ADI参与了整个技术变革的过程,并且为这些进步提供了基础的芯片技术和软件技术。在ADI中国25周年媒体技术
目的对医院药学信息服务及其在药物实践中的应用进行研究,让药师通过临床药学服务得到准确的信息参考。方法通过文献查阅与实际实践及临床工作相结合得出结论,对药剂科开设药学