论文部分内容阅读
本文是一个数据仓库工程项目,文中集中讨论了一个气象数据仓库的设计和实现过程。本文的数据仓库设计和实现都基于ORACLE 10g的数据库服务器和OWB(ORACLE Warehouse Builder)。文中首先讨论了气象雷达扫描数据和地面自动站测量数据的数据结构。然后给出了气象数据仓库的设计和实现过程。项目的主要工作集中在数据的抽取、转换、加载的过程(ETL)上。在数据清洗阶段采用了空间插值的方法,并给出了距离权重反比法进行空间插值的一个改进方法,使这种方法可以处理具有空间特征的空间数据,实践证明该方法对雷达数据的处理具有较好的适应性和精确度。在雷达数据的异常数据检测中给出了一种基于规则引擎的方法,改进了已有方法的每次处理一条记录而不能处理位置相关性很强的空间数据的缺点。在数据转换阶段采用pl/sql存储过程和JAVA语言结合编程的方式,立足于工程的需要,着重处理数据的时空一致性,完成了数据的转换和加载。最后,对建成的数据仓库进行了存储优化和查询优化,使新建成的数据仓库成为一个实用、高效的系统。为项目后续进行数据的OLAP分析和数据挖掘提供了一个基础数据平台。