论文部分内容阅读
摘要：随着信息化时代的来临，信息技术促进了各行各业生产力和生产效率的提升。在水文的管理中，信息化的运用对水资源的管理水平和利用效率的提升提供了重要基础。但是目前水文信息化建设中还存在较多难题，如信息化基础建设落后，信息体系不完善等，不利于水文数据管理的可持续发展，因此，水文数据对分析系统的设计对提升水文勘测工作有着重要意义。
关键词：水文数据;多维分析系统;设计与实现
引言：在水文勘察工作中运用网络、数据库等技术获取与分析数据信息，可以有效分配资源，优化管理模式。通过数据多为系统的建设，挖掘蕴藏于水文数据中的知识，已成为水文科学发展的新热点。本文主要分析了多为分析系统的设计方案以及关键技术的运用，从而使水文勘测工作与信息技术有效的融合到一起。
1、系统功能
系统各模块的功能系统主要有数据获取与处理、模型设计与建立、数据分析展現三大部分构成：
1.1数据获取与处理功能
主要有水文数据获取和水文数据的处理两个部分。采用水文历史数据作为系统的源数据。由于源数据的不完整性，其中存在大量的空值、噪声数据和不规范数据，因此在进行数据挖掘前必须对其进行空值处理、极端数据处理等预处理，为下一阶段的数据挖掘提供高质量的、清洁的数据。
1.2模型设计与建立功能
主要包括数据仓库和数据立方体的设计与建立两个部分。数据仓库设计与建立：根据面向主题、数据驱动和原型法设计三个原则，设计并建立相应的概念模型、逻辑模型、物理模型，最后完成数据仓库模型的建立。数据立方体设计与建立：根据数据仓库中的数据设计出维度和度量，以及维度中的层次关系，从而设计出相应的数据立方体，最后通过商业智能解决方案工具完成数据立方体的建立。
1.3数据分析展现功能
基于B/S架构，利用数据表，柱状图，圆饼图等方式在Web网页上展现针对不同主题的数据。
2、系统各模块设计方案
2.1数据获取与处理
数据的获取：原始数据来自于全国基础水文数据库，数据的时间范围为建站年份到2000年。原始数据包含测站信息，降水量信息，水面蒸发量信息，水温信息，平均水位信息，平均流量信息，平均含沙量信息和平均输沙率信息等众多信息，其中不乏会有一些空值数据和错误的数据，所以要对原始数据进行处理。数据的处理：经过检查，原始数据中存在大量的空值、噪声数据和重复值，因此采用如下方法进行处理：对于重复值，直接删除这些重复的记录;对于不是大规模连续出现的空值，采用求15日均值填充该空值的方法来消除;对于连续的超过五天但不超过一月的空值，采用求临近5年同期平均值填充来消除;对于连续一个月以上的空值，则删除所有测站同期记录，剔除该月份或年份的所有记录。
2.2模型设计。
2.2.1数据仓库的设计
选取对水文要素的统计分析作为数据仓库的应用主题。下面分别介绍数据仓库中概念模型、逻辑模型和物理模型的设计。（1）概念模型设计：水文数据仓库以水文要素为事实，其具体的度量为降水量、水面蒸发量、平均水位、平均流量、平均含沙量、平均输沙率、平均水温。基于水文要素的时空间分布特点，设计了测站维（包含一个“测站”层次）、时间维（包含“年”、“月”、“日”三个层次）、空间维（包含“流域”、“水系”、“测站”三个层次）;行政区划维（包含“省”、“市”、“县”三个层次）共四个。（2）逻辑模型设计：逻辑模型设计主要是基于上一阶段设计的概念模型，定义数据组织的逻辑结构，将其转换为逻辑模型。在数据仓库的逻辑模型设计中，最常用的是星型模型。水文要素的统计分析主题的逻辑模型设计如下：维度表：测站维表、时间维表、行政区划维表、空间维表。事实表：水文要素事实表。度量指标：降水量（毫米）、水面蒸发量（毫米）、平均水位（米）、平均流量（m3/s）、平均含沙量（kg/m3）、平均输沙率（kg/s）、平均水温（摄氏度）。（3）物理模型的设计：数据仓库的物理模型设计是逻辑模型在具体DBMS上的物理实现，包括了表的数据结构类型定义、索引策略制定、数据存储分配等，其具体内容表现为数据库中的物理表。
2.1.2数据立方体的设计
立方体的维表示事实表中的维。立方体的每个单元表示一个事实，它与立方体中不同维度的粒度对应。
3、信息服务平台建设
水文综合信息服务系统是一个大型复杂的系统，也是省水文综合业务系统的基础支撑系统，不能作为一个独立的项目单独建设，为此建立了统一的信息服务平台并在此平台上进行开发，实现多库共享、应用有机集成等要求。
4.分析展现
水文数据多维分析系统的数据可视化功能和OLAP查询分析基于Cognos服务实现。以降水量这一水文要素为例进行分析展现的说明。降水量数据可视化：水文数据多维分析系统有多种可视化方式，包括表格，柱状图，圆饼图，折线图等等。例如将空间维和时间维分别拖拽至表格的行和列，然后将降水量和最大降水量两个度量也拖拽至行中，便可以查看从1985年开始不同流域降水量和最大降水量的情况。降水量OLAP查询分析：对于对于有层次结构的维度，前台页面可提供数据钻取，切片切块、旋转等功能。
总结：为了全面了解水文信息，分析水文数据，设计水文多维分析系统可以实现数据仓库的设计、建模;数据抽取、转换与加载;数据存储与管理;数据展现，为水利综合决策提供了决策支持。
参考文献：
[1]李永强.浅析水库长期水文预报系统的多预报思路[J].珠江水运.2015，（9）.68-69.
[2]闫家珲，王一匡.水库长期水文预报系统的多预报思路[J].科技展望.2017，（6）.105.
[3占晓安.数据挖掘技术在水库调度中的研究与应用.2017.
关键词：水文数据;多维分析系统;设计与实现
引言：在水文勘察工作中运用网络、数据库等技术获取与分析数据信息，可以有效分配资源，优化管理模式。通过数据多为系统的建设，挖掘蕴藏于水文数据中的知识，已成为水文科学发展的新热点。本文主要分析了多为分析系统的设计方案以及关键技术的运用，从而使水文勘测工作与信息技术有效的融合到一起。
1、系统功能
系统各模块的功能系统主要有数据获取与处理、模型设计与建立、数据分析展現三大部分构成：
1.1数据获取与处理功能
主要有水文数据获取和水文数据的处理两个部分。采用水文历史数据作为系统的源数据。由于源数据的不完整性，其中存在大量的空值、噪声数据和不规范数据，因此在进行数据挖掘前必须对其进行空值处理、极端数据处理等预处理，为下一阶段的数据挖掘提供高质量的、清洁的数据。
1.2模型设计与建立功能
主要包括数据仓库和数据立方体的设计与建立两个部分。数据仓库设计与建立：根据面向主题、数据驱动和原型法设计三个原则，设计并建立相应的概念模型、逻辑模型、物理模型，最后完成数据仓库模型的建立。数据立方体设计与建立：根据数据仓库中的数据设计出维度和度量，以及维度中的层次关系，从而设计出相应的数据立方体，最后通过商业智能解决方案工具完成数据立方体的建立。
1.3数据分析展现功能
基于B/S架构，利用数据表，柱状图，圆饼图等方式在Web网页上展现针对不同主题的数据。
2、系统各模块设计方案
2.1数据获取与处理
数据的获取：原始数据来自于全国基础水文数据库，数据的时间范围为建站年份到2000年。原始数据包含测站信息，降水量信息，水面蒸发量信息，水温信息，平均水位信息，平均流量信息，平均含沙量信息和平均输沙率信息等众多信息，其中不乏会有一些空值数据和错误的数据，所以要对原始数据进行处理。数据的处理：经过检查，原始数据中存在大量的空值、噪声数据和重复值，因此采用如下方法进行处理：对于重复值，直接删除这些重复的记录;对于不是大规模连续出现的空值，采用求15日均值填充该空值的方法来消除;对于连续的超过五天但不超过一月的空值，采用求临近5年同期平均值填充来消除;对于连续一个月以上的空值，则删除所有测站同期记录，剔除该月份或年份的所有记录。
2.2模型设计。
2.2.1数据仓库的设计
选取对水文要素的统计分析作为数据仓库的应用主题。下面分别介绍数据仓库中概念模型、逻辑模型和物理模型的设计。（1）概念模型设计：水文数据仓库以水文要素为事实，其具体的度量为降水量、水面蒸发量、平均水位、平均流量、平均含沙量、平均输沙率、平均水温。基于水文要素的时空间分布特点，设计了测站维（包含一个“测站”层次）、时间维（包含“年”、“月”、“日”三个层次）、空间维（包含“流域”、“水系”、“测站”三个层次）;行政区划维（包含“省”、“市”、“县”三个层次）共四个。（2）逻辑模型设计：逻辑模型设计主要是基于上一阶段设计的概念模型，定义数据组织的逻辑结构，将其转换为逻辑模型。在数据仓库的逻辑模型设计中，最常用的是星型模型。水文要素的统计分析主题的逻辑模型设计如下：维度表：测站维表、时间维表、行政区划维表、空间维表。事实表：水文要素事实表。度量指标：降水量（毫米）、水面蒸发量（毫米）、平均水位（米）、平均流量（m3/s）、平均含沙量（kg/m3）、平均输沙率（kg/s）、平均水温（摄氏度）。（3）物理模型的设计：数据仓库的物理模型设计是逻辑模型在具体DBMS上的物理实现，包括了表的数据结构类型定义、索引策略制定、数据存储分配等，其具体内容表现为数据库中的物理表。
2.1.2数据立方体的设计
立方体的维表示事实表中的维。立方体的每个单元表示一个事实，它与立方体中不同维度的粒度对应。
3、信息服务平台建设
水文综合信息服务系统是一个大型复杂的系统，也是省水文综合业务系统的基础支撑系统，不能作为一个独立的项目单独建设，为此建立了统一的信息服务平台并在此平台上进行开发，实现多库共享、应用有机集成等要求。
4.分析展现
水文数据多维分析系统的数据可视化功能和OLAP查询分析基于Cognos服务实现。以降水量这一水文要素为例进行分析展现的说明。降水量数据可视化：水文数据多维分析系统有多种可视化方式，包括表格，柱状图，圆饼图，折线图等等。例如将空间维和时间维分别拖拽至表格的行和列，然后将降水量和最大降水量两个度量也拖拽至行中，便可以查看从1985年开始不同流域降水量和最大降水量的情况。降水量OLAP查询分析：对于对于有层次结构的维度，前台页面可提供数据钻取，切片切块、旋转等功能。
总结：为了全面了解水文信息，分析水文数据，设计水文多维分析系统可以实现数据仓库的设计、建模;数据抽取、转换与加载;数据存储与管理;数据展现，为水利综合决策提供了决策支持。
参考文献：
[1]李永强.浅析水库长期水文预报系统的多预报思路[J].珠江水运.2015，（9）.68-69.
[2]闫家珲，王一匡.水库长期水文预报系统的多预报思路[J].科技展望.2017，（6）.105.
[3占晓安.数据挖掘技术在水库调度中的研究与应用.2017.