随着企业规模的不断壮大以及计算机技术的发展,不少企业建立了自己的数据中心来运行各种业务系统。这些业务系统和服务器、网络设备、存储等设备日常产生的日志是一个非常大的数字。如何快速有效的分析处理这些海量日志成为企业和院校的重要研究课题。国内外不少企业都研究出了适合自己企业的大数据日志分析系统并得到了很好的应用,开源日志分析系统比如Facebook的Scribe、Apache的Chukwa等,商业日志分析系统如Splunk公司的Splunk等。目前市场上的日志系统大都存在一些问题,如功能不全不适合公司的实际环境、对开发人员的技术水平要求高、不容易使用等。为了解决这些问题,本文设计和实现了一个基于Hadoop的日志大数据分析系统,该系统运行在分布式存储和计算框架上,具备了高效分析海量日志的能力,同时具有功能强大、配置简便、容易使用等特点。本文研究工作的关键点包括:1、设计并实现日志聚类分析算法,大大提高了日志处理效率。在系统记录的日志信息中,有价值的日志信息约占所有日志的20%不到。通过Logcluster日志聚类分析算法可以排除日志信息中的一般信息,减少不必要的计算。2、实现故障预测,较为准确的预测出系统可能会发生的故障。分析日志记录中的异常事件,提取成为日志序列,再对这些日志序列进行聚类,最后利用隐半马尔可夫模型计算日志序列属于非故障序列的概率和故障序列的概率,最后通过使用贝叶斯分类理论,预测出系统可能出现的故障。让系统管理员可以提前做出处理,从而保障系统正常运行。在系统部署完成之后从功能和性能两个方面进行了全面的测试,该日志分析系统在功能和性能上都可以满足公司分析运维日志的需求。功能方面,实现了对运维日志快速、自动化分析。性能方面,目前该系统完全满足现有的每天的日志处理需求。系统正式运行可以帮助系统管理员监控企业数据中心应用系统的运行状态、帮助运维人员及时发现、定位故障以便第一时间处理故障最大限度保障信息系统的正常运行,从而提高企业的生产效率。