随着互联网技术深刻而广泛地改变了人们的生活方式,我们越来越发现这些留在互联网上的生活痕迹具有数量大,分布广,能够通过数据分析揭示不同现象等特点.但对于这些具有重大价值的数据,如何处理成为一大难题.在本文中,我将大数据系统分为数据搜集,数据分析,数据存储等三个方面,并分别用flume,kafka,spark streaming,hbase(hdfs)等框架进行处理.这些框架都是apache的开源项目,可以供广大用户方便地使用.其中,flume可以通过各种不同类型的source并行采集数据,并通过channel将数据传送给kafka,kafka是一种高吞吐量的分布式发布订阅消息系统,spark streaming从kafka中读取消息并进行相应处理,最后将所需数据存入hbase或hadoop中.整个大数据系统框架可以并发,高效实时处理海量数据,提取所需信息.本文在最后介绍了日志处理的一个demo实践,希望能够为新手提供一些借鉴与经验.