日志是对大规模应用软件进行故障诊断的有效途径以及重要手段。然而,日志研究领域面临几个主要挑战,首先由于日志数据量巨大以及分布零散等问题会导致用户获取日志数据困难;其次日志数据格式多样化会导致用户读取日志数据困难,并且大量日志数据中有价值的信息被忽略,无法被用户充分地利用;最后日志数据存储不规范会造成存储资源的大量浪费。针对以上问题,本文提出了一种基于Spark的日志收集与数据服务集成框架LCSF,该框架分为日志数据收集,预处理,存储,查询四个模块:(1)在日志数据收集模块中,提出一种可扩展的分布式的日志收集策略,对实时数据流进行收集,把分布零散、数据量巨大的原始日志数据统一收集起来,该分布式收集策略具有可扩展性,可以满足不断增加的大数据量日志数据以及不断增多的日志数据源的需求。(2)在日志数据预处理模块中,基于Spark平台,将日志数据分片批处理,对日志数据进行过滤、去重、分片,实现从海量且多样化的日志数据中,实时处理用户所需要的日志数据。(3)在日志数据存储模块中,提出一种基于访问频率的多层次的数据存储模型,该模型将关系型数据库与非关系型数据库相结合,根据访问频率的不同将日志数据分类存储,并且将不同类型的日志数据分别存储在不同的服务器集群中,解决了日志大数据多样化,异构等问题,可以有效地管理各种类型日志数据,避免了空闲数据存储造成的资源浪费,使日志数据存储性能得到极大提升。(4)在日志数据查询模块中,基于Solr的高速检索,通过服务接口将日志数据中所蕴含的信息快速向用户展示出来,提高了用户利用日志数据进行后续分析工作的效率,满足用户的多样化需求。根据上述提出的日志收集与数据服务集成框架,提出了一种基于Spark的收集与数据服务集成框架的技术实现,利用可扩展的分布式收集策略以及基于访问频率的多层次日志数据存储来实现安全可靠的日志数据收集存取,通过Spark Streaming来实现实时高效的日志处理,最后利用Solr来实现动态可配置的日志数据查询服务。