互联网技术的蓬勃发展,推动世界进入大数据时代。网络数据在规模上趋于爆炸式增长,在种类上趋于多样化,在价值上趋于低密度化,在来源上趋于分散化,在处理需求上趋于实时化。自从Google公司发表MapReduce、BigTable、GFS三篇论文以来,出现了大量优秀开源项目,使得大数据技术逐渐成熟,并演化出丰富的大数据生态圈。从数据的生命周期来看,大数据的主要技术可以分为数据采集、数据集成、数据存储和数据处理四类。数据采集用于从数据源头获取数据,数据集成用于整合多个系统的数据,数据存储用于永久化储存数据,数据处理用于分析数据。日志分析是大数据处理的一类典型应用。日志是企业重要的数据,不仅包含了用户行为,还记录了程序错误、性能指标和系统工作状况。通过对日志的分析,可以获取用户偏好并挖掘商业价值、快速定位程序错误和性能瓶颈、发现系统潜在问题和风险。目前日志数据处理主要采用批处理技术,这种处理方式缺乏实时性,使得系统告警、入侵检测、风险控制等强实时性的信息无法被及时处理。本文面向日志数据的实时收集与处理,研究了数据收集、集成、存储与处理中的关键技术,设计实现了日志实时收集与分析平台。该平台收集服务器集群日志,并使用实时处理技术对日志加以分析。该平台主要由三个部分组成:1.数据收集层。数据收集层使收集过程透明化、可扩展化并拥有容错性。在数据收集层中实现权重负载均衡算法,使收集过程拥有更好的负载均衡。此外,还设计了分布式配置管理方案,使得数据收集端管理自动化。2.数据集成层。数据集成层使分散的日志数据得以汇总,并为分析系统提供数据缓冲。为了使集成层拥有更好的负载均衡,设计实现了基于先验知识的数据分配算法。3.数据分析层。数据分析层处理实时日志数据。在Spark原有SQL查询基础上,实现了实时数据的动态SQL查询。动态SQL查询避免了重复提交Spark任务,提供了更便捷的日志查询功能;在Spark实时处理框架上,基于实时数据特点,实现缓存系统,减少Spark Streaming作业获取数据的时间,带来10%-20%的速度提升。