论文部分内容阅读
[摘要]通信行业是典型的数据密集型行业，相比其他行业来说，拥有更多的用户的数据。随着通信行业体制的改革，行业的竞争也愈加激烈，正确、迅速的处理数据并得到更多的有效的信息，就能够更好为用户服务，这成了在竞争中制胜的关键点。数据仓库技术应运而生，通过将海量的数据变为有效的信息来为企业决策提供依据。论文探讨了当前移动通信业面临着激烈的竞争，企业必须借助于已有的数据资源支持决策，给出了数据仓库的相关知识，最后给出了移动通信业数据仓库的主题分析内容。
[关键词]数据仓库；移动通信；主题；联机分析处理
[中图分类号]C37 [文献标识码]A [文章编号]1672-5158（2013）06-0033-02
1 引言
对我国移动通信业来说，2008年是不同寻常的一年。5月24日工业和信息化部，发改委，财政部联合发布关于深化电信体制改革的通告，通告指出，鼓励中国电信收购联通CDMA网，联通与网通合并，中国卫通的基础电信业务并入中国电信，中国铁通并入中国移动，这标志着移动通信业新一轮的重组拉开了帷幕。2009年1月7日14时30分，工业和信息化部为中国移动、中国电信和中国联通发放了三张第三代移动通信（3G）牌照，此举标志着我国正式进入了3G时代。此，我国通信领域呈现三足鼎立的格局，开始上演一部现代版的“三国演义”。
3G时代，移动通信业的竞争，必将从传统的以产品类型、产品质量为核心、成本控制为目标的管理体系，以产品、价格、销售地点和服务为中心的经营式服务，向以客户和市场为中心、以客户的价值取向和消费心理导向的模式转变。目前，在通信企业的管理中，数据的组织和管理是分散在各个职能部门进行的，有关客户的信息和客户的业务使用情况有计费部门的业务营运支持系统（BOSS）管理，企业的收支情况有财务部门的管理信息系统管理，网络的运行与维护由网络部门的网管系统管理，各个部门之间通过办公自动化系统进行信息的传递与沟通。
经过多年的积累，移动通信企业积累了大量的与业务活动相关的数据，而在大多情况下，这些海量的数据而不能提炼成为有价值的信息，并不能及时提供给业务分析人员和管理决策者。这就造成了两方面的缺陷：一方面，联机作业系统因为需要保留足够的详细数据以备查询而变得笨重不堪，系统资源的投资跟不上业务扩展的需求；另一方面，管理者和决策者只能根据固定的、定时的报表系统获得有限的经营与业务信息，无法适应激烈的市场竞争。因此，如何在激烈的市场竞争条件下，在满足客户需求和优质服务的前提下，充分利用现有设备降低成本、提高效益，就成为决策者们共同关心的课题。数据仓库技术与联机分析处理为解决这类问题提供了方法。
2 数据仓库
2.1 数据仓库的概念
数据仓库并没有明确统一的定义，按照著名的数据仓库专家Imnon在其著作《建立数据仓库》一书中给出的描述：数据仓库是一个面向主题的、集成的、相对稳定的、不同时间的数据集合，用于支持经营管理中的决策制定过程。
跟传统的数据库相比，数据仓库与其最大的区别是所存储的数据。传统的数据库存储的是操作型数据，其主要应用是联机事务处理（OLTP）。决策分析对于这些数据一般并不能直接引用，还需进一步进行数据抽取、转换、装载（ETL），有时还需整合不同数据库的数据。数据仓库存储的就是这种面向决策分析需要的，经过整理后的决策支持型数据，其值保持稳定。传统数据库存储以表的形式存储，而数据仓库数据以多维数组方式存储，其主要应用是联机分析处理（OLAP）。
2.2 数据仓库粒度设计
粒度是指数据仓库的数据单位中保存数据的细化程度的级别。细化程度越高，信息量越多，粒度级就越小；相反，细化程度越低，信息量越少，粒度级就越大。粒度影响存放在数据仓库中数据量的大小，同时影响数据仓库所能回答的查询类型。
2.3 多维数据立方体
数据仓库一般是基于多维数据模型构建的。多维数据模型将数据看成数据立方体的形式，由维和事实构成。维是人们观察主题的特定角度，每一维分别用一个表来描述，称为“维表”，它是维的详细描述。事实表示所关注的主题，也由表来描述，称为“事实表”，其主要特点是包含数值数据，而这些数值数据可以进行汇总以提供有关操作历史的信息。
3 数据仓库技术在通信领域的应用
3.1 数据处理
在通信领域里，数据仓库技术的应用是对经营分析管理的又一次提升，数据仓库技术经常用于数据处理，但是数据繁多，因此要谨慎选择处理数据的方案。
目前，主流数据仓库的数据处理专业工具有：CA，NCR，IBM，Informix（IBM），Oracle和SAS。其中SAS的效率相对较高，因此在国际学术界里有一个约定俗成的规则：只要是SAS统计分析的结果，不要求说明详细的算法。所以在这里以SAS的应用来举例分析。在实际的数据处理中，SAS8.0有很有好的人机对话界面，不仅可以通过编程的方式进行数据处理，还可以通过在对话框中选择相应的命令来间接的得到数据处理的代码，进行数据处理。但是SAS也有它的劣势，那就是SAS的数据仓库是相对落后的数据集模式。尽管如此，依旧可以这么说，SAS瑕不掩瑜。所以由于SAS数据处理的功能以及对数据的针对性要比其他的专业工具都占优势，所以在实际操作中还是选择SAS作为数据处理工具的居多。于此同时，为了弥补SAS的数据库在技术上的不足，数据仓库的存储就采用了时下最流行的Oracle数据库。
3.2 数据分析
对于通信行业来说，一个经营分析系统必不可少。其不仅要具有旋转、切片、钻取等PLAP功能外，更重要的是要有功能强大并且完整的Web端。在数据仓库技术的应用中，数据分析是很重要的一块，主要的分析工具有：Cognos，Business Objects，Brio。 其中Brio更加适合通信企业经营分析系统的要求，比如Brio可以支持Web/Intranet环境，并且报表生成速度快，支持多种数据导出格式，如excel，pdf，txt，html，CSV等。其离线分析方式也保证了经营分析系统的性能不会受到用户的增加而减弱。
3.3 在经营分析系统中数据处理的实现
从目前通信行业的市场来看，企业在构建自己的分析型系统之前，已经会存在一些业务系统。这些系统的存在代表了整个企业目前的业务情况，其中的数据一般是高粒度的，是企业数据仓库的首要数据来源。在实际操作中，这些数据要进行选择、转换、加载等几个步骤的处理之后才能进入数据仓库。其中数据的转换指的是从已存在的业务系统中抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、合并、拆分、汇总等处理，并保证来自不同业务系统、格式有差别的数据的一致性和完整性。然后进行的加载就是把数据源系统中进行转换后的数据加载到数据仓库中。
4 数据转换
高质量的数据是决策成功的基础，导致俘获并维护高质量数据困难的原因有许多，其主要的3种，过程原因、人为因素和技术问题等，小区配置信息的手工输入时也会出现诸多的问题，比如说用户填写随意，输入人员过度疲劳等人为因素。为了使ROI（投资回报）最高而保证每个数据都正确，将耗费巨大的人力和才力，以及技术人员和业务人员的沟通误解等等原因，均被归纳为技术问题。
因此，在本系统中规定所有进人数据仓库的数据，都要经过抽取、转换和加载3个步骤，以维护数据质量。
定义数据抽取元数据，元数据是用于描述数据库状态的一组信息，包括事件、动机、人、时间、内容等。系统对网管系统的数据抽取事件定义一个数据抽取元数据，它用于记录对网管系统所有小区配置信息及话务量数据的提取，以便系统的管理和维护。数据抽取元数据如下所示：名称：抽取每日XX地区小区信息；时间：每日凌晨4点；人员：XXX；动机：获取XX地区每日小区配置参数信息；内容：获取当前日期前一天XX地区的小区配置信息；操作：起用数据管道PIPE-1；开始时间：每日04时40分；结束时间：每日06时20分；记录数：21000 30000。对抽取过来的数据进行转换，其作用是按规则统一数据格式，清理和预防数据垃圾，只有通过数据转换的过程，才能提高数据的质量。
5 结束语
当前，移动通信市场的竞争异常激烈，也对移动运营商提出了更高的要求，企业迫切需要做出更快更好的决策，而数据库中的数据则成为了决策所必须的宝贵财富。本文阐述了数据仓库技术在移动通信业中的运用，重点说明了移动数据仓库的构建以及数据仓库主题的划分，所有的主题都应该以客户分析和话费分析为核心。数据仓库必然成为各运营商存放数据的最重要场所，如何构建数据仓库，从数据快速做出决策已成为各运营商研究的热点。
参考文献
[1]Sperley E.企业数据仓库一规划建立与实现[M]北京：人民邮电出版社，2005
[2]段石峰，吴唯宁，李建威，等，数抓仓库及其在电信领域中的应用[M1，北京：电子下业出版社，2005
[3]陈京民，数据仓库原理、设计与应用[M]，北京：中国水利水电出版社，2005
[4]段云峰，吴唯宁，数据仓库及其在电信领域中的应用[M]，北京：电子工业出版社，2005
[5]茅明辉，利用数据仓库技术实现电信业务经营分析[D]，南京：南京理工大学，2004
[6]孙岩峰，数据仓库技术在黑龙江省移动通信，公司经营分析系统中的应用[D]，北京：北京工业大学，2006
[关键词]数据仓库；移动通信；主题；联机分析处理
[中图分类号]C37 [文献标识码]A [文章编号]1672-5158（2013）06-0033-02
1 引言
对我国移动通信业来说，2008年是不同寻常的一年。5月24日工业和信息化部，发改委，财政部联合发布关于深化电信体制改革的通告，通告指出，鼓励中国电信收购联通CDMA网，联通与网通合并，中国卫通的基础电信业务并入中国电信，中国铁通并入中国移动，这标志着移动通信业新一轮的重组拉开了帷幕。2009年1月7日14时30分，工业和信息化部为中国移动、中国电信和中国联通发放了三张第三代移动通信（3G）牌照，此举标志着我国正式进入了3G时代。此，我国通信领域呈现三足鼎立的格局，开始上演一部现代版的“三国演义”。
3G时代，移动通信业的竞争，必将从传统的以产品类型、产品质量为核心、成本控制为目标的管理体系，以产品、价格、销售地点和服务为中心的经营式服务，向以客户和市场为中心、以客户的价值取向和消费心理导向的模式转变。目前，在通信企业的管理中，数据的组织和管理是分散在各个职能部门进行的，有关客户的信息和客户的业务使用情况有计费部门的业务营运支持系统（BOSS）管理，企业的收支情况有财务部门的管理信息系统管理，网络的运行与维护由网络部门的网管系统管理，各个部门之间通过办公自动化系统进行信息的传递与沟通。
经过多年的积累，移动通信企业积累了大量的与业务活动相关的数据，而在大多情况下，这些海量的数据而不能提炼成为有价值的信息，并不能及时提供给业务分析人员和管理决策者。这就造成了两方面的缺陷：一方面，联机作业系统因为需要保留足够的详细数据以备查询而变得笨重不堪，系统资源的投资跟不上业务扩展的需求；另一方面，管理者和决策者只能根据固定的、定时的报表系统获得有限的经营与业务信息，无法适应激烈的市场竞争。因此，如何在激烈的市场竞争条件下，在满足客户需求和优质服务的前提下，充分利用现有设备降低成本、提高效益，就成为决策者们共同关心的课题。数据仓库技术与联机分析处理为解决这类问题提供了方法。
2 数据仓库
2.1 数据仓库的概念
数据仓库并没有明确统一的定义，按照著名的数据仓库专家Imnon在其著作《建立数据仓库》一书中给出的描述：数据仓库是一个面向主题的、集成的、相对稳定的、不同时间的数据集合，用于支持经营管理中的决策制定过程。
跟传统的数据库相比，数据仓库与其最大的区别是所存储的数据。传统的数据库存储的是操作型数据，其主要应用是联机事务处理（OLTP）。决策分析对于这些数据一般并不能直接引用，还需进一步进行数据抽取、转换、装载（ETL），有时还需整合不同数据库的数据。数据仓库存储的就是这种面向决策分析需要的，经过整理后的决策支持型数据，其值保持稳定。传统数据库存储以表的形式存储，而数据仓库数据以多维数组方式存储，其主要应用是联机分析处理（OLAP）。
2.2 数据仓库粒度设计
粒度是指数据仓库的数据单位中保存数据的细化程度的级别。细化程度越高，信息量越多，粒度级就越小；相反，细化程度越低，信息量越少，粒度级就越大。粒度影响存放在数据仓库中数据量的大小，同时影响数据仓库所能回答的查询类型。
2.3 多维数据立方体
数据仓库一般是基于多维数据模型构建的。多维数据模型将数据看成数据立方体的形式，由维和事实构成。维是人们观察主题的特定角度，每一维分别用一个表来描述，称为“维表”，它是维的详细描述。事实表示所关注的主题，也由表来描述，称为“事实表”，其主要特点是包含数值数据，而这些数值数据可以进行汇总以提供有关操作历史的信息。
3 数据仓库技术在通信领域的应用
3.1 数据处理
在通信领域里，数据仓库技术的应用是对经营分析管理的又一次提升，数据仓库技术经常用于数据处理，但是数据繁多，因此要谨慎选择处理数据的方案。
目前，主流数据仓库的数据处理专业工具有：CA，NCR，IBM，Informix（IBM），Oracle和SAS。其中SAS的效率相对较高，因此在国际学术界里有一个约定俗成的规则：只要是SAS统计分析的结果，不要求说明详细的算法。所以在这里以SAS的应用来举例分析。在实际的数据处理中，SAS8.0有很有好的人机对话界面，不仅可以通过编程的方式进行数据处理，还可以通过在对话框中选择相应的命令来间接的得到数据处理的代码，进行数据处理。但是SAS也有它的劣势，那就是SAS的数据仓库是相对落后的数据集模式。尽管如此，依旧可以这么说，SAS瑕不掩瑜。所以由于SAS数据处理的功能以及对数据的针对性要比其他的专业工具都占优势，所以在实际操作中还是选择SAS作为数据处理工具的居多。于此同时，为了弥补SAS的数据库在技术上的不足，数据仓库的存储就采用了时下最流行的Oracle数据库。
3.2 数据分析
对于通信行业来说，一个经营分析系统必不可少。其不仅要具有旋转、切片、钻取等PLAP功能外，更重要的是要有功能强大并且完整的Web端。在数据仓库技术的应用中，数据分析是很重要的一块，主要的分析工具有：Cognos，Business Objects，Brio。 其中Brio更加适合通信企业经营分析系统的要求，比如Brio可以支持Web/Intranet环境，并且报表生成速度快，支持多种数据导出格式，如excel，pdf，txt，html，CSV等。其离线分析方式也保证了经营分析系统的性能不会受到用户的增加而减弱。
3.3 在经营分析系统中数据处理的实现
从目前通信行业的市场来看，企业在构建自己的分析型系统之前，已经会存在一些业务系统。这些系统的存在代表了整个企业目前的业务情况，其中的数据一般是高粒度的，是企业数据仓库的首要数据来源。在实际操作中，这些数据要进行选择、转换、加载等几个步骤的处理之后才能进入数据仓库。其中数据的转换指的是从已存在的业务系统中抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、合并、拆分、汇总等处理，并保证来自不同业务系统、格式有差别的数据的一致性和完整性。然后进行的加载就是把数据源系统中进行转换后的数据加载到数据仓库中。
4 数据转换
高质量的数据是决策成功的基础，导致俘获并维护高质量数据困难的原因有许多，其主要的3种，过程原因、人为因素和技术问题等，小区配置信息的手工输入时也会出现诸多的问题，比如说用户填写随意，输入人员过度疲劳等人为因素。为了使ROI（投资回报）最高而保证每个数据都正确，将耗费巨大的人力和才力，以及技术人员和业务人员的沟通误解等等原因，均被归纳为技术问题。
因此，在本系统中规定所有进人数据仓库的数据，都要经过抽取、转换和加载3个步骤，以维护数据质量。
定义数据抽取元数据，元数据是用于描述数据库状态的一组信息，包括事件、动机、人、时间、内容等。系统对网管系统的数据抽取事件定义一个数据抽取元数据，它用于记录对网管系统所有小区配置信息及话务量数据的提取，以便系统的管理和维护。数据抽取元数据如下所示：名称：抽取每日XX地区小区信息；时间：每日凌晨4点；人员：XXX；动机：获取XX地区每日小区配置参数信息；内容：获取当前日期前一天XX地区的小区配置信息；操作：起用数据管道PIPE-1；开始时间：每日04时40分；结束时间：每日06时20分；记录数：21000 30000。对抽取过来的数据进行转换，其作用是按规则统一数据格式，清理和预防数据垃圾，只有通过数据转换的过程，才能提高数据的质量。
5 结束语
当前，移动通信市场的竞争异常激烈，也对移动运营商提出了更高的要求，企业迫切需要做出更快更好的决策，而数据库中的数据则成为了决策所必须的宝贵财富。本文阐述了数据仓库技术在移动通信业中的运用，重点说明了移动数据仓库的构建以及数据仓库主题的划分，所有的主题都应该以客户分析和话费分析为核心。数据仓库必然成为各运营商存放数据的最重要场所，如何构建数据仓库，从数据快速做出决策已成为各运营商研究的热点。
参考文献
[1]Sperley E.企业数据仓库一规划建立与实现[M]北京：人民邮电出版社，2005
[2]段石峰，吴唯宁，李建威，等，数抓仓库及其在电信领域中的应用[M1，北京：电子下业出版社，2005
[3]陈京民，数据仓库原理、设计与应用[M]，北京：中国水利水电出版社，2005
[4]段云峰，吴唯宁，数据仓库及其在电信领域中的应用[M]，北京：电子工业出版社，2005
[5]茅明辉，利用数据仓库技术实现电信业务经营分析[D]，南京：南京理工大学，2004
[6]孙岩峰，数据仓库技术在黑龙江省移动通信，公司经营分析系统中的应用[D]，北京：北京工业大学，2006