批流一体大数据平台是为大数据开发人员、数据分析师等人员提供的,从海量数据中分析潜在价值的工具构建。目前大数据相关平台虽然已经取得一些成果,但仍存在数据链路不能复用且链路之间数据的准确性有出入、数据处理易出现数据倾斜、存储成本大、数据查询分析困难等问题和挑战:1)基于Lambda架构的大数据平台,使用分开的数据链路来处理实时数据与历史数据的存储与计算,其两者是完全割裂的,无法做到统一管理。2)计算引擎在处理数据时,在面对数据的洪峰会出现大量的数据倾斜情况,导致程序运行缓慢甚至出现故障。3)现有的Kappa架构利用Kafka作为历史数据的全量存储,会增加较大的存储成本。4)现有的大数据平台的查询分析引擎并非所有都实现ANSI标准,需要数据开发人员根据不同引擎编写不同的SQL脚本,这无疑增加了数据分析人员开发成本,同时系统对于新的分析引擎难以扩展。针对上述问题与挑战,本文重点面向大数据批流一体平台流批数据统一处理、数据统一查询分析场景,基于Kafka、Flink、Hive、Elasticsearch等大数据组件,完成了基于Kappa架构的批流一体大数据平台的研究与实现,主要研究内容有以下三项:1)提出并实现了一种Flink引擎节点动态扩展的策略算法,在计算节点出现数据热点的情况下,动态扩展计算节点来适应数据的洪峰。根据一致性哈希的思想,对计算节点构建虚拟分区,解决Flink引擎在出现数据倾斜时无法动态扩展节点的问题,同时避免人工的方式增加并行度带来数据不一致的风险。2)设计并实现了声明式统一查询分析工具,为业务开发人员提供统一的编程方式。开发人员进行数据查询分析时,仅仅需要提交特定规则的JSON格式文本,统一查询分析工具会解析文本,最终路山到不同的分析引擎中执行查询任务,减少了开发人员学习各种分析引擎的学习成本。3)设计并实现了基于Kappa架构的批流一体大数据平台,实现了元数据层、计算引擎层、数据存储层、查询分析层的统一,解决开发人员在开发批流任务或者查询分析数据场景时开发难度大以及学习成本高的问题。最后,该平台应用于国家重点研发计划项目“大数据征信及智能评估技术”,在征信业务背景下搭建了集数据存储、数据处理、数据查询一体化的大数据平台,验证了本文的理论方法和平台的有效性以及实用价值。