论文部分内容阅读
`
新型的决策支持技术——数据仓库和联机分析处理(OLAP)
数据仓库和 OLAP是 20世纪 90年代初提出的概念,到 90年代中期已经形成潮流。在美国,数据仓库已经成为仅次于 Internet之后的又一技术热点。数据仓库是市场激烈竞争的产物,它的目标是达到有效的决策支持。大型企业几乎都建立自己的数据仓库,数据库厂商也纷纷推出自己的数据仓库软件。目前,已建立和使用的数据仓库应用系统都取得了明显的经济效益,在市场竞争中显示了强劲的活力。
数据仓库将大量用于事物处理的传统数据库数据进行清理、抽取和转换,并按决策主题的需要进行重新组织。数据仓库的逻辑结构可分为近期基本数据层、历史数据层和综合数据层(其中综合数据是为决策服务的)。数据仓库的物理结构一般采用星型结构的关系数据库。星型结构由事实表和维表组成,多个维表之间形成多维数据结构。星型结构的数据体现了空间的多维立方体。这种高度集中的数据为各种不同决策需求提供了有用的分析基础。
随着数据仓库的发展,OLAP也得到了迅猛的发展。数据仓库侧重于存储和管理面向决策主体的数据;而OLAP则侧重于数据仓库中的数据分析,并将其转换成辅助决策信息。OLAP的一个重要特点是多维数据分析,这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系。OLAP技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等,它便于使用者从不同角度提取有关数据。OLAP技术还能够利用分析过程对数据进行深入分析和加工。例如,关键之指标数据常常用代数方程进行处理,更复杂的分析则需要建立模型进行计算。
以数据仓库和OLAP相结合建立的辅助决策系统是决策支持系统的新形式。Business Object(BO)推出的智能决策支持系统工具BO 4.0是以 OLAP技术为主体的、集查询和报表为一体的决策支持系统开发工具。该工具的一个重要特点是提出了“语义层”和“语义动态对象”的概念。语义层是将数据库中的列(字段)按决策主题重组为面向用户的对象,对象可以是数据库中的表、列、连接(多字段组合)以及对多字段进行运算的表达式。语义动态对象是对已经定义的语义层对象进行任意组合后进行决策需要的新表,并将表中的数据以可视化的方式在屏幕上显示或以报表的形式打印出来。
OLAP技术是对由语义动态对象建立的、以动态微立方结构形式存储的表进行向下钻取、向上钻取、跨越钻取、切片和切块等操作。BO4。0的网络版使用户能够在网上通过创览器查看或下载BO报表。
综合决策支持系统
以模型库为主体的决策支持系统已经发展了10年,它对计算机的辅助决策起了很大的推动作用。数据仓库和OLAP新技术为决策支持系统开辟了新途径。数据仓库与OLAP都是数据驱动的。这些新的技术和传统的模型库对决策的支持是两种不同的形式,它们可以相互补充。在OLAP中加入模型库,将会极大地提高OLAP的分析能力。
20世纪90年代中期,从人工智能、机器学习中发展起来的数据开采,是从数据库、数据仓库中挖掘有用的知识,其知识的形式有产生式规则、决策树、数据集、公式等。对知识的推理即形成智能模型,它是以定性分析方式辅助决策的。
数据开采的方法和技术包括决策树方法、神经网络方法、覆盖正例排斥反例方法、粗集方法、概念树方法、遗传算法、公式发现、统计分析方法、模糊论方法、可视化技术。
把数据库、OLAP、数据开采、模型库结合起来形成综合决策支持系统,是更高级形式的决策支持系统。其中数据仓库能够实现对决策主题数据的存储和综合,OLAP实现多维数据分析,数据开采用以挖掘数据库和数据仓库中的知识,模型库实现多个广义模型的组合辅助决策,专家系统利用知识推理进行定性分析。它们集成的综合决策支持系统,将相互补充、相互依赖发挥各自的辅助决策优势,实现更有效的辅助决策。其结构如图1所示。
综合结构体系包括三个主体:第一个主体是模型库系统和数据库系统的结合,它是决策支持的基础,为决策问题提供定量分析(模型计算)的辅助决策信息;第二个主体是数据仓库、OLAP,它从数据仓库中提取综合数据和信息,这些数据和信息反映了大量数据的内在本质;第三个主体是专家系统和数据开采的结合。数据开来从数据库和数据仓库中挖掘知识,并将其放入专家系统的知识库中,通过知识推理的专家系统达到定性分析辅助决策。
综合体系结构的三个主体可以相互补充又可以相互结合。它可以根据实际问题的规模和复杂程度,决定是采用单个主题辅助决策还是采用两个或是三个主体相互结合互助决策。利用第一个主体的辅助决策系统就是智能决策支持系统。利用第二主体的辅助决策系统就是新的决策支持系统。在OLAP中利用数据库的有关模型,可以提高OLAP的数据分析能力。将三个主体结合起来,即利用“问题综合和交互系统”部件集成三个主体,这样形成的综合决策支持系统是一种更高形式的决策支持系统,其辅助决策能力将上一个新台阶。由于这种形式的决策支持系统包含了众多的关键技术,研制过程中要克服很多困难,这也是我们今后努力的方向。
新型的决策支持技术——数据仓库和联机分析处理(OLAP)
数据仓库和 OLAP是 20世纪 90年代初提出的概念,到 90年代中期已经形成潮流。在美国,数据仓库已经成为仅次于 Internet之后的又一技术热点。数据仓库是市场激烈竞争的产物,它的目标是达到有效的决策支持。大型企业几乎都建立自己的数据仓库,数据库厂商也纷纷推出自己的数据仓库软件。目前,已建立和使用的数据仓库应用系统都取得了明显的经济效益,在市场竞争中显示了强劲的活力。
数据仓库将大量用于事物处理的传统数据库数据进行清理、抽取和转换,并按决策主题的需要进行重新组织。数据仓库的逻辑结构可分为近期基本数据层、历史数据层和综合数据层(其中综合数据是为决策服务的)。数据仓库的物理结构一般采用星型结构的关系数据库。星型结构由事实表和维表组成,多个维表之间形成多维数据结构。星型结构的数据体现了空间的多维立方体。这种高度集中的数据为各种不同决策需求提供了有用的分析基础。
随着数据仓库的发展,OLAP也得到了迅猛的发展。数据仓库侧重于存储和管理面向决策主体的数据;而OLAP则侧重于数据仓库中的数据分析,并将其转换成辅助决策信息。OLAP的一个重要特点是多维数据分析,这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系。OLAP技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等,它便于使用者从不同角度提取有关数据。OLAP技术还能够利用分析过程对数据进行深入分析和加工。例如,关键之指标数据常常用代数方程进行处理,更复杂的分析则需要建立模型进行计算。
以数据仓库和OLAP相结合建立的辅助决策系统是决策支持系统的新形式。Business Object(BO)推出的智能决策支持系统工具BO 4.0是以 OLAP技术为主体的、集查询和报表为一体的决策支持系统开发工具。该工具的一个重要特点是提出了“语义层”和“语义动态对象”的概念。语义层是将数据库中的列(字段)按决策主题重组为面向用户的对象,对象可以是数据库中的表、列、连接(多字段组合)以及对多字段进行运算的表达式。语义动态对象是对已经定义的语义层对象进行任意组合后进行决策需要的新表,并将表中的数据以可视化的方式在屏幕上显示或以报表的形式打印出来。
OLAP技术是对由语义动态对象建立的、以动态微立方结构形式存储的表进行向下钻取、向上钻取、跨越钻取、切片和切块等操作。BO4。0的网络版使用户能够在网上通过创览器查看或下载BO报表。
综合决策支持系统
以模型库为主体的决策支持系统已经发展了10年,它对计算机的辅助决策起了很大的推动作用。数据仓库和OLAP新技术为决策支持系统开辟了新途径。数据仓库与OLAP都是数据驱动的。这些新的技术和传统的模型库对决策的支持是两种不同的形式,它们可以相互补充。在OLAP中加入模型库,将会极大地提高OLAP的分析能力。
20世纪90年代中期,从人工智能、机器学习中发展起来的数据开采,是从数据库、数据仓库中挖掘有用的知识,其知识的形式有产生式规则、决策树、数据集、公式等。对知识的推理即形成智能模型,它是以定性分析方式辅助决策的。
数据开采的方法和技术包括决策树方法、神经网络方法、覆盖正例排斥反例方法、粗集方法、概念树方法、遗传算法、公式发现、统计分析方法、模糊论方法、可视化技术。
把数据库、OLAP、数据开采、模型库结合起来形成综合决策支持系统,是更高级形式的决策支持系统。其中数据仓库能够实现对决策主题数据的存储和综合,OLAP实现多维数据分析,数据开采用以挖掘数据库和数据仓库中的知识,模型库实现多个广义模型的组合辅助决策,专家系统利用知识推理进行定性分析。它们集成的综合决策支持系统,将相互补充、相互依赖发挥各自的辅助决策优势,实现更有效的辅助决策。其结构如图1所示。
综合结构体系包括三个主体:第一个主体是模型库系统和数据库系统的结合,它是决策支持的基础,为决策问题提供定量分析(模型计算)的辅助决策信息;第二个主体是数据仓库、OLAP,它从数据仓库中提取综合数据和信息,这些数据和信息反映了大量数据的内在本质;第三个主体是专家系统和数据开采的结合。数据开来从数据库和数据仓库中挖掘知识,并将其放入专家系统的知识库中,通过知识推理的专家系统达到定性分析辅助决策。
综合体系结构的三个主体可以相互补充又可以相互结合。它可以根据实际问题的规模和复杂程度,决定是采用单个主题辅助决策还是采用两个或是三个主体相互结合互助决策。利用第一个主体的辅助决策系统就是智能决策支持系统。利用第二主体的辅助决策系统就是新的决策支持系统。在OLAP中利用数据库的有关模型,可以提高OLAP的数据分析能力。将三个主体结合起来,即利用“问题综合和交互系统”部件集成三个主体,这样形成的综合决策支持系统是一种更高形式的决策支持系统,其辅助决策能力将上一个新台阶。由于这种形式的决策支持系统包含了众多的关键技术,研制过程中要克服很多困难,这也是我们今后努力的方向。