论文部分内容阅读
通信行业是典型的数据密集型行业,相比其他行业来说,拥有更多的用户的数据。随着通信行业体制的改革,行业的竞争也愈加激烈,正确、迅速的处理数据并得到更多的有效的信息,就能够更好为用户服务,这成了在竞争中制胜的关键点。数据仓库技术应运而生,通过将海量的数据变为有效的信息来为企业决策提供依据。
1数据仓库技术
(一)基本概念
数据仓库的概念是:面向主题、集成的、稳定的、随时间变化的数据集合,是用来支持惯例决策的过程。一般来说,数据仓库是一种多个异种数据源在单个站点以统一的模式组织的存储过程。数据仓库针对数据的处理包括了数据的选择、分析、转换与加载。对于数据来说,数据在数据仓库中是有各自的生命周期的,当数据没有价值之后,将会被从仓库中清除。
(二)数据转换
高效率、高质量的数据转换是决策成功的重要基础。但是在实际的操作中,数据的收集和维护并不是那么容易完成,主要的困难有三个:过程因素、人为因素和技术问题。为了使ROI达到最高且保证每个数据都正确,需要花费大量的人力和财力。因此,所有的数据在进入数据仓库时,都需要经过选择、转换以及加载3个步骤,以保障数据的质量,数据转换流程图如图1所示。
(一)数据处理
在通信领域里,数据仓库技术的应用是对经营分析管理的又一次提升,数据仓库技术经常用于数据处理,但是数据繁多,因此要谨慎选择处理数据的方案。目前,主流数据仓库的数据处理专业工具有:CA,NCR,IBM,Informix(IBM),Oracle和SAS。其中SAS的效率相对较高,因此在国际学术界里有一个约定俗成的规则:只要是SAS统计分析的结果,不要求说明详细的算法。所以在这里以SAS的应用来举例分析。在实际的数据处理中,SAS8.0有很有好的人机对话界面,不仅可以通过编程的方式进行数据处理,还可以通过在对话框中选择相应的命令来间接的得到数据处理的代码,进行数据处理。但是SAS也有它的劣势,那就是SAS的数据仓库是相对落后的数据集模式。尽管如此,依旧可以这么说,SAS瑕不掩瑜。所以由于SAS数据处理的功能以及对数据的针对性要比其他的专业工具都占优势,所以在实际操作中还是选择SAS作为数据处理工具的居多。于此同时,为了弥补SAS的数据库在技术上的不足,数据仓库的存储就采用了时下最流行的Oracle数据库。
(二)数据分析
对于通信行业来说,一个经营分析系统必不可少。其不仅要具有旋转、切片、钻取等PLAP功能外,更重要的是要有功能强大并且完整的Web端。在数据仓库技术的应用中,数据分析是很重要的一块,主要的分析工具有:Cognos,Business Objects,Brio。其中Brio更加适合通信企业经营分析系统的要求,比如Brio可以支持Web/Intranet环境,并且报表生成速度快,支持多种数据导出格式,如excel,pdf,txt,html,csv等。其离线分析方式也保证了经营分析系统的性能不会受到用户的增加而减弱。
(三)在经营分析系统中数据处理的实现
从目前通信行业的市场来看,企业在构建自己的分析型系统之前,已经会存在一些业务系统。这些系统的存在代表了整个企业目前的业务情况,其中的数据一般是高粒度的,是企业数据仓库的首要数据来源。在实际操作中,这些数据要进行选择、转换、加载等几个步骤的处理之后才能进入数据仓库。其中数据的转换指的是从已存在的业务系统中抽取的源数据根据数据仓库系统模型的要求,进行数据的转换、清洗、合并、拆分、汇总等处理,并保证来自不同业务系统、格式有差别的数据的一致性和完整性。然后进行的加载就是把数据源系统中进行转换后的数据加载到数据仓库中,其具体的流程如图2所示。
综上所述,通信行业日益增多信息数据是一个巨大的机遇,也是一个难度不小的挑战。发展数据仓库技术,通过对数据的不断分析和研究,积极挖掘出更深层次的规律,将会有巨大的发展前景。当然,数据仓库的建设是一个十分漫长的过程,步骤繁多,要遵循分阶段、循序渐进的原则。除此之外,作为通信行业最关心的主题,实用性也是要遵守的。要尽可能使用简单、统一的方式来实现数据的处理。最重要的是在设计以及开发的过程中,要有相关专家培训和指导,以确保技术应用的合理性和系统的质量。
1数据仓库技术
(一)基本概念
数据仓库的概念是:面向主题、集成的、稳定的、随时间变化的数据集合,是用来支持惯例决策的过程。一般来说,数据仓库是一种多个异种数据源在单个站点以统一的模式组织的存储过程。数据仓库针对数据的处理包括了数据的选择、分析、转换与加载。对于数据来说,数据在数据仓库中是有各自的生命周期的,当数据没有价值之后,将会被从仓库中清除。
(二)数据转换
高效率、高质量的数据转换是决策成功的重要基础。但是在实际的操作中,数据的收集和维护并不是那么容易完成,主要的困难有三个:过程因素、人为因素和技术问题。为了使ROI达到最高且保证每个数据都正确,需要花费大量的人力和财力。因此,所有的数据在进入数据仓库时,都需要经过选择、转换以及加载3个步骤,以保障数据的质量,数据转换流程图如图1所示。
(一)数据处理
在通信领域里,数据仓库技术的应用是对经营分析管理的又一次提升,数据仓库技术经常用于数据处理,但是数据繁多,因此要谨慎选择处理数据的方案。目前,主流数据仓库的数据处理专业工具有:CA,NCR,IBM,Informix(IBM),Oracle和SAS。其中SAS的效率相对较高,因此在国际学术界里有一个约定俗成的规则:只要是SAS统计分析的结果,不要求说明详细的算法。所以在这里以SAS的应用来举例分析。在实际的数据处理中,SAS8.0有很有好的人机对话界面,不仅可以通过编程的方式进行数据处理,还可以通过在对话框中选择相应的命令来间接的得到数据处理的代码,进行数据处理。但是SAS也有它的劣势,那就是SAS的数据仓库是相对落后的数据集模式。尽管如此,依旧可以这么说,SAS瑕不掩瑜。所以由于SAS数据处理的功能以及对数据的针对性要比其他的专业工具都占优势,所以在实际操作中还是选择SAS作为数据处理工具的居多。于此同时,为了弥补SAS的数据库在技术上的不足,数据仓库的存储就采用了时下最流行的Oracle数据库。
(二)数据分析
对于通信行业来说,一个经营分析系统必不可少。其不仅要具有旋转、切片、钻取等PLAP功能外,更重要的是要有功能强大并且完整的Web端。在数据仓库技术的应用中,数据分析是很重要的一块,主要的分析工具有:Cognos,Business Objects,Brio。其中Brio更加适合通信企业经营分析系统的要求,比如Brio可以支持Web/Intranet环境,并且报表生成速度快,支持多种数据导出格式,如excel,pdf,txt,html,csv等。其离线分析方式也保证了经营分析系统的性能不会受到用户的增加而减弱。
(三)在经营分析系统中数据处理的实现
从目前通信行业的市场来看,企业在构建自己的分析型系统之前,已经会存在一些业务系统。这些系统的存在代表了整个企业目前的业务情况,其中的数据一般是高粒度的,是企业数据仓库的首要数据来源。在实际操作中,这些数据要进行选择、转换、加载等几个步骤的处理之后才能进入数据仓库。其中数据的转换指的是从已存在的业务系统中抽取的源数据根据数据仓库系统模型的要求,进行数据的转换、清洗、合并、拆分、汇总等处理,并保证来自不同业务系统、格式有差别的数据的一致性和完整性。然后进行的加载就是把数据源系统中进行转换后的数据加载到数据仓库中,其具体的流程如图2所示。
综上所述,通信行业日益增多信息数据是一个巨大的机遇,也是一个难度不小的挑战。发展数据仓库技术,通过对数据的不断分析和研究,积极挖掘出更深层次的规律,将会有巨大的发展前景。当然,数据仓库的建设是一个十分漫长的过程,步骤繁多,要遵循分阶段、循序渐进的原则。除此之外,作为通信行业最关心的主题,实用性也是要遵守的。要尽可能使用简单、统一的方式来实现数据的处理。最重要的是在设计以及开发的过程中,要有相关专家培训和指导,以确保技术应用的合理性和系统的质量。