论文部分内容阅读
随着市场上自主研发的数据库的大量出现,面对各具特色的数据库因差异性而导致的数据etl过程困难的问题,本文探讨了一种通过kafka作为可靠的实时数据中转,然后通过spark streaming任务来实现数据入库的技术路线,最终解决了基于电力客服业务的数据仓库实时数据接入的问题.该技术路线能够一定程度上解决一部分数据实时数据接入的困难.与此同时,可以在数据接入过程中进行复杂的数据流式计算.