论文部分内容阅读
大数据时代的到来,需要对大量数据进行离线和实时分析,现在这种线上和线下共用数据源的大数据框架已经成为一种研究热点。本文介绍的就是把离线和实时的数据源作为同一个数据源,然后控制数据分别进入离线和实时的系统。文中分别介绍了这4个功能块的模式,以及利用现在Apache开源的Flume、Kafka、Storm和HDFS搭建这样的一个框架,分别实现框架的搭建和一个简单的数据线上和线下的分析。