在企业发展初期,数据分析一般通过直接在后端数据库上执行查询或者在单机节点上进行数据计算完成。随着企业业务的不断发展,数据量越来越大,数据复杂度不断提升,业务方对数据支持的要求越来越高。原始的数据分析方式在性能及应对复杂的数据源方面遇到了很大困难,已经难以满足企业发展的需要。为了给企业提供必要的数据支持,数据分析需要利用大数据处理技术,在分布式的集群上完成数据的存储和计算,并利用数据仓库技术降低数据分析的复杂度。针对这些问题,项目在Hadoop和Spark大数据集群上通过Kimball建模技术建设了 Hive数据仓库,解决了数据分析时间长,数据使用体验差等问题。数据仓库通过对企业的各种数据源进行ETL(Extraction-Transformation-Loading,数据抽取、转换和加载过程)处理,解决了数据复杂度高的问题,构建了企业统一的数据分析来源。元数据管理系统旨在管理企业统一的数据知识,其通过数据仓库和应用数据源,提供数据字典、指标管理、血缘管理等功能,并通过一套精心设计的流程保证元数据的及时更新。它改善了数据质量,显著提高了新人上手的速度。同时,为了使数据分析工作更加规范,项目基于Superset开发了企业统一的报表平台,实现了数据的展现,解决了数据分析工作零散的问题。在技术选型上,数据仓库建模采用了 Kimball维度建模技术,在Hive上构建数据仓库。ETL过程的开发使用工具与手工开发相结合的方式,在Hive中实现了拉链表和数据变化获取和数据的更新操作,并对非结构化的埋点数据提出了数据处理的方法。报表平台基于Apache Superset数据可视化工具构建,并使用G2等前端框架进行了扩展。元数据管理系统使用Vue.js和Spring Boot实现,采用手工录入与自动解析相结合的方式收集元数据。目前,BI平台已经上线,运行良好,不但减轻了数据分析的开发工作,还显著地提高了数据分析的效率,为企业各部门提供了良好的数据支持,得到公司管理层的高度评价。并在这个过程中建立健全了基本的数据框架,解决了指标口径不一致,重复计算率高等问题,消除了数据孤岛和烟囱式的数据集市。