目前,很多互联网公司需要对数据信息进行实时计算处理,其中包括实时的风控管理,实时的舆情监控,实时的个性化推荐等,这些应用的数据多数来自系统产生的日志信息,因此日志信息的处理对公司业务十分重要。根据企业对日志实时处理的要求,本文设计并实现了一个基于Storm日志实时分析存储的系统。本文介绍了日志实时分析的研究意义,开发过程中涉及到的相关技术,设计了系统的整体架构和功能模块。本文的重点主要是实时日志分析的后端架构。架构中,使用分布式的Flume组件来监控多个不同日志文件,日志信息通过Memory Channel发送到Kafka的Sink上。在日志的收集模块和处理模块之间使用Kafka作为中间件,实现流量削峰和业务模块的解耦。在实时处理的模块中采用Storm技术,Storm的Spout组件读取Kafka上的数据,并通过Bolt节点实现对模块的分析和处理。Spout把读取的数据封装成Tuple数据发送给下游的Bolt节点,系统根据创建的Topology进行流数据的处理,并把处理过后的数据向上游节点发送确认,保证数据的正确处理。Storm实时分析数据,最后要把分析的数据持久化,本系统使用HBase作为数据的持久化存储,HBase具有易扩容高性能的特点,同时HBase表的结构可以动态的改变。本文实现了实时日志处理的服务端系统,能够读取不同数据源的日志数据,实现日志实时计算,分析,存储的功能,提供了一个分布式的,稳定的,可扩展的海量日志实时分析处理存储的系统。