基于Hadoop的日志分析系统的设计与实现

来源 :电脑迷 | 被引量 : 0次 | 上传用户:chenliquanhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量的互联网应用产生大量的web日志,从这些海量日志中找出有价值的信息已经成为一种重要的互联网应用.面对海量的web日志,分布式存储和计算成为一种必然的趋势.本文采用了Hadoop的HDFS和Map/Reduce,实现了一个日志分析系统,主要包括互联网日志的收集,存储和处理,通过自定义数据包的配置文件,系统可实现报表的自定义性,通过这种方式不仅减少了工作量,同时提高了工作效率.
其他文献
期刊
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
在中国古代文化中,视觉隐喻虽然也有一定的重要性,但却从来没有处于一种主导性地位。无论是儒家、道家还是后来的禅宗中,听觉同样承担着重要的文化隐喻功能。儒家从音乐的辩
本文主要对留日时期鲁迅的民主观作思潮史研究。  留日时期鲁迅的民主观是其早期“立人”思想的重要组成部分,集中体现在他于1908年发表的《文化偏至论》中。留日时期鲁迅的
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
艺术教育对于儿童的发展有着积极的促进作用,同时儿童的艺术教育也越来越受社会的关注。《3-6岁儿童学习与发展指南》是由我国教育部门发布的,其目的就是更好地促进我国儿童
期刊
随着计算机的发展,一种新的语言格式应运而生,它被称为编程语言.就像是我们不同国家的人,会用不同的语言来交流,编程语言因为有着同一套的通用系统和运行格式,使得效率在逻辑
期刊
与传统教学模式相此,新媒体是把“双刃剑”。如何积极面对其带来的机遇和挑战,是现代思想政治教育工作者面临的重要问题。思想教育工作者必须改变陈旧的传统教学思维模式,积
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
常规变电站线路侧挂接地线都是直接挂在接线耳或者接线板上进行固定,该固定方式经常遇到“角度”过大导致挂接不牢的现象,同时要消耗运行人员大量的体力,严重威胁人身及设备