随着油藏经营管理信息化的发展,油藏经营管理数据呈现爆发式增长,研究如何利用海量数据对油藏经营进行数据分析和辅助决策显得极为迫切和必要,然而传统的油藏经营管理系统已难以满足相应的需要。本文采用Hadoop生态圈技术,结合非关系型数据库Hbase和大数据计算引擎Spark,通过对大数据环境下基于Spark的油藏经营管理系统的研究,实现对油藏经营大数据的快速并行分析,为企业生产管理提供支持。本文首先使用Kettle和Sqoop技术实现了传统数据库和HDFS之间的数据抽取、转换和装载,解决了数据格式不一致、空值等数据信息不确定问题;其次,设计了基于数据仓库工具Hive的油藏经营管理数据仓库的体系结构,确定了主题,建立了业务分区表,设计了数据模型,以利于支撑数据的快速并行分析;再次,给出了Spark的计算模型,并将Spark与HBase相结合,完成了分析结果数据的存储和查询优化,实现了分析结果数据的快速查询和可视化展示;最后,基于Hadoop集群环境和MyEcplice环境,开发实现了一个大数据环境下基于Spark的油藏经营管理系统,基于大数据技术实现了油田盈利能力分析、营运能力分析、投入产出效率分析和采油厂发展能力分析等。从而弥补了传统油藏经营管理系统在海量数据存储和统计分析方面的不足,对油藏经营数据统计分析和辅助决策提供了有效支持。