随着互联网和信息技术的发展,企业中信息系统的规模迅速扩大,各个系统之间数据传输的复杂度也随着系统数量的增加而变得异常混乱,这就可能造成“信息孤岛”的问题从而无法实现数据共享。本文通过研究当前的ETL技术,利用Kafka消息系统、Hadoop分布式系统架构、多源数据库等技术,结合Kafka Connect设计并实现一个流数据处理分析系统。系统支持数据的抽取、聚合和分发,实现了大量数据进出Kafka消息系统从而和其他数据源进行交互共享。本文主要介绍了基于Zookeeper框架实现对集群、Broker和Topic的管理;利用Kafka Connect构建不同的源(source)/目标(sink)连接器,在Kafka消息中间件的上游和下游形成一个无缝连接的数据流通道,实现了不同数据源中的数据的交互共享。同时也介绍了基于JMX实现对集群的监控,包括对Broker、Topic和连接器的实时状态监控、流量监控和实时的异常信息预警等;以及基于Filebeat和Logstash实现对日志文件的收集和输出以便对日志内容的查询和查看。最后,本文还搭建实验环境测试了系统的性能,通过结果分析本系统能够完成从异构数据源(Oracle、MySQL等生产者)抽取数据到Kafka消息系统进行缓存,并输出到消费者端进行处理。