随着水电企业信息化的不断发展,企业已经累积了大量的结构化数据和非结构化数据,同时还存在潜在的可采集的海量实时数据。现今,数据已是企业的无形资产,企业对于利用数据驱动发展的需求十分迫切。当前水电企业在建设数据中心时基本采用传统架构,存在扩展性差、建设成本高、运行成本高,支持数据类型单一、数据处理效率低下等问题。无法满足大数据时代下高速增长的全类型数据存储和处理需求,不能支撑大数据时代下水电企业深度利用潜在数据资产的需求。本文针对目前的问题,梳理了水电企业的信息数据资源,完成了水电企业大数据基础平台的需求分析,完成了混合架构的大数据基础平台的设计和实现。大数据基础平台主包括两个数据集成层和数据存储层。大数据基础平台的数据集成层针对水电企业各信息系统、自动化系统中的结构化数据、非结构化数据和实时数据三种类型的数据集成需求,从数据场景、技术方式、数据特征、触发机制、处理步骤等维度总结,数据集成层通过接口表、接口数据文件、接口调用、消息队列等方式,实现数据的自动收集、整理、清洗、转换,并存储到平台的数据存储层。大数据基础平台的数据存储层包含数据仓库平台,分布式数据平台,流数据平台。基于国产数据库搭建Gbase 8T数据仓库平台,数据仓库进行了分区设计,分为缓冲区、整合区、汇总区和集市区,通过ETL技术在数据仓库内对数据实现整合、汇总,实现结构化数据按照业务主题域进行分类和存储。基于Hadoop搭建分布式数据平台,文件格式采用HDFS分布式文件系统,数据库采用HBase分布式列式数据库,满足海量数据存储和并发需求。分布式数据平台进行了分区设计,分为非结构化数据区,流数据转储区。非结构化数据区实现了非结构化数据的存储,并与结构化数据建立了关联。流数据转储区实现了海量实时消息数据的持久化存储。基于“Kafka+Storm+Redis”搭建流数据平台,针对数据源层中的各种实时消息进行,实现高效的,可靠的,实时的流式处理并存储。大数据基础平台实现流域全类型数据的集中存储和整合,具备高数据处理能力,解决了企业内部各信息系统的数据孤岛情况,为后续挖掘数据价值,实现数据驱动企业打下基础。