论文部分内容阅读
摘 要：随着经济的不断发展，市场中的竞争激烈程度也在不断加剧。对于电信营业商来说，其客户资源十分的重要，因此，在此背景下我国的电信营业商逐渐的加强了对客户的重视，建立了以客户为中心的营销推广政策。电信企业必须要能够树立客户战略意识，正确的处理好客户之间的关系，做好客户的挖掘工作，才能赢得进一步的发展。要想更好的处理好客户之间的关系，必须要建立相应的CRM客户关系管理系统，本文主要是针对电信运营商在CRM系统中对数据的处理进行了分析，并且阐述了相关的应用前景。
关键词：数据处理技术；数据仓库；CRM系统；应用
中图分类号：TP311.13
CRM系统对电信营业商处理客户关系具有很重要的作用，要想建立完善的CRM系统，那么必须要能够具有强大的数据仓库技术，利用数据仓库对系统中的客户信息以及营业信息成本利息等进行相应的处理，所以，在CRM系统的建立中，最为重要的便是数据库仓库技术。
1 数据仓库技术
数据仓库技术主要是指稳定的、主题的、集合的并且包含历史数据的集合，数据仓库技术能够对相应的数据进行集成化处理，而建立CRM系统主要是为了能够将这种数据处理的方式与商务相互联合，从而提升商业利润[1]。对于传统的数据库技术主要是运用与企业的日常数据的处理，而数据仓库能够在处理数据的同时也能够对数据的运用进行分析处理。数据仓库的建立不会影响到日常数据的管理，能够在管理的基础上对数据进行分析，这样能够为企业提供相应的决策依据，从而为企业的决策提供科学的依据，数据仓库是传统的数据库技术的升级与完善，在企业的数据处理分析方面有很重要的作用。在数据仓库中的各项应用中，有一项被称为数据集市，其中的主要功能是将存储的数据进行收集整理，在CRM系统中获取详细的数据信息以及相应的历史数据，其中数据集市与数据仓库最终主要的区别就是范围的不同，数据集市仅仅是企业的一个部门数据，而数据仓库则是包含了整个企业的数据。
数据仓库的技术中主要是包括了：（1）ETL技术，主要是指数据的提取、转换以及装载技术，对数据内进行提取与处理，在处理之后加载到数据库之中，并且将各种不同类型的数据进行汇总，以便于后期对数据进行分析。ETL技术是建立数据仓库的主要的步骤，并且ETL的过程就是数据流动的过程，将不同类型的数据进行统一的整理，将数据进行转化进行输入与输出。ETL技术中的各个流程可以根据相应需求进行特殊的设计，具有很大的灵活性；（2）OLAP技术，主要指联机分析处理技术，在数据仓库中，对数据的存储主要是为了方便对数据的分析处理，并且很多用户对于数据的需求具有临时性以及未知性，所以通常会采取相应的多维度分析方式。而OLAP技术则具备这种能力，主要是以数据仓库中的集成数据为出发点，来构建面向分析的多维数据模型，这样使得用户能够在不同的维度进行数据分析处理，OLAP技术的主要特点是快速性、可分析性以及多维性，这些特性使其在数据处理方面具有很高的效率，同时在处理数据时也十分的深入；（3）数据集市，主要是对部门进行数据的处理，原始数据会经过数据仓库流入不同的部门，并且能够支持各个部门的定制化使用，每一个部门的数据集合都能成为一个数据的集合，数据集市主要是概括性数据，数据的来源都是数据仓库，能够满足各个部门的需要。
2 数据仓库的系统架构
从源数据开始输出，到将输出结果传至用户终端这一个过程中所处理的数据集合在一起构成了数据仓库系统，数据仓库系统主要负责的是对数据进行提取、转换以及加载分析，在数据仓库中主要分为五个部分，分别是源数据库层、提取转换装载层、数据仓库层以及处理层[2]。（1）源数据层，主要是指整个数据库的来源，以及对数据的经营，在日常的生产中会产生海量的数据，这些都是数据库数据的来源，其中有历史数据、非结构化数据以及外部数据等；（2）提取转换并且装载数据，在数据仓库中，数据仓库的源数据仅仅是来自于不同的平台，因此其存储的格式也不相同，在数据采集区，能够将数据的格式进行统一的转换，将转换的数据在处理之后存储在缓冲区，仅仅是保留窗口内部的数据，在ETL的模块中，主要是对数据进行提取转换处理。对用户所需要的数据进行处理，以此来辅助企业进行相应的运营分析，并且其抽取的数据都是一些比较的有用的数据。另外它还能够对数据库中的一些错误的数据进行清洗删除。在数据库中由于数据的种类很多，并且格式不同，因此会通过ETL对数据进行处理，进行统一格式的转换，从而来方便数据的存储，最后是对数据的装载，将不同的数据按照各个模块将其装入到数据仓库中；（3）数据仓库层，利用多维度模型对数据进行存储；（4）处理层，主要是对源数据进行分析处理以及备份恢复，主要是针对数据仓库的安全以及稳定高效建立的；（5）表示层，主要是为了方便用户的使用，对数据进行挖掘，利用OLAP系统能够为用户提供强大的统计、分析以及报表功能，这样能够在相应的数据中找到用户需要的信息，从而根据信息建立相应的预测模型，将最终的结果进行客户分析，这些对电信运营商的后续有很大的意义。
3 基于Haddoop的数据处理能力
随着客户数量的不断增加，相关运营商的CRM系统内的数据量也在日益增多，因此对于大量数据的处理，是目前研究的重点。Haddoop开发的开源技术HDFS分布式文件处理系统对于大量数据的处理能力很强，并且该技术也得到了广泛的应用。在HDFS的集群中，由一个主要的节点与多个节点组成，并且主节点主要是负责在系统中对文件的访问，而数据节点则是对各个节点上的数据进行存储。在系统内部进行运行时，一个文件被分成了很多各数据块，并且将数据存储在各个数据节点上，同时主节点发出相应的命令，规划不同的数据快到各自的数据节点上，各个数据节点对根据相应的命令进行数据的处理。
还有一种技术是MapReduce编程方式，这是一种新型编程模型，主要是对海量的数据进行运算，这样使相关的编程人员不用使用分布式编程方式，利用映射与化简的方式就能够将原有的程序运行在相应的分布式系统上[3]。其中主要先确定某一个函数，并且将其映射在另外一组新的键值，然后用户要对自身的Map操作进行定义，之后再对REDUCE函数值进行定位合并所有中间值。MapReduce主要是有两个部分组成，MAP是一个部分，主要功能是将一个任务进行相应的拆分，将其拆分成多个任务，而另一个部分Reduce则是将拆分的任务进行汇总，以此来得出最终的结果。MapReduce对于数据集群进行大规模的处理，主要是在利用各个节点将数据输送至网络上的各个数据节点，从而进行运算，并且每一个节点都会定期对工作的状态进行报告。
4 结束语
CRM的建立能够有效的对数据进行处理，还可以对客户资料进行分析，与此同时还能够形成完整的檔案以及客户数据仓库，利用CRM系统能够对客户进行全面的分析以及应用，以此来对客户的信息进行更好的管理，从而来收集更多具有价值的信息，并且能够促进市场营销的进行，带动运营商长远的发展。
参考文献：
[1]高翔.基于J2EE架构的知识发现技术在CRM系统中的应用研究[J].西北工业大学，2011（01）：20-21.
[2]刘峰.基于统计的数据挖掘技术在CRM系统中的应用研究[J].大连理工大学，2012（02）：20-24.
[3]单友成.CRM中模糊数据挖掘及客户生命周期价值与客户满意度研究[J].天津大学，2010（01）：30-31.
作者单位：北京大学，北京 100080
关键词：数据处理技术；数据仓库；CRM系统；应用
中图分类号：TP311.13
CRM系统对电信营业商处理客户关系具有很重要的作用，要想建立完善的CRM系统，那么必须要能够具有强大的数据仓库技术，利用数据仓库对系统中的客户信息以及营业信息成本利息等进行相应的处理，所以，在CRM系统的建立中，最为重要的便是数据库仓库技术。
1 数据仓库技术
数据仓库技术主要是指稳定的、主题的、集合的并且包含历史数据的集合，数据仓库技术能够对相应的数据进行集成化处理，而建立CRM系统主要是为了能够将这种数据处理的方式与商务相互联合，从而提升商业利润[1]。对于传统的数据库技术主要是运用与企业的日常数据的处理，而数据仓库能够在处理数据的同时也能够对数据的运用进行分析处理。数据仓库的建立不会影响到日常数据的管理，能够在管理的基础上对数据进行分析，这样能够为企业提供相应的决策依据，从而为企业的决策提供科学的依据，数据仓库是传统的数据库技术的升级与完善，在企业的数据处理分析方面有很重要的作用。在数据仓库中的各项应用中，有一项被称为数据集市，其中的主要功能是将存储的数据进行收集整理，在CRM系统中获取详细的数据信息以及相应的历史数据，其中数据集市与数据仓库最终主要的区别就是范围的不同，数据集市仅仅是企业的一个部门数据，而数据仓库则是包含了整个企业的数据。
数据仓库的技术中主要是包括了：（1）ETL技术，主要是指数据的提取、转换以及装载技术，对数据内进行提取与处理，在处理之后加载到数据库之中，并且将各种不同类型的数据进行汇总，以便于后期对数据进行分析。ETL技术是建立数据仓库的主要的步骤，并且ETL的过程就是数据流动的过程，将不同类型的数据进行统一的整理，将数据进行转化进行输入与输出。ETL技术中的各个流程可以根据相应需求进行特殊的设计，具有很大的灵活性；（2）OLAP技术，主要指联机分析处理技术，在数据仓库中，对数据的存储主要是为了方便对数据的分析处理，并且很多用户对于数据的需求具有临时性以及未知性，所以通常会采取相应的多维度分析方式。而OLAP技术则具备这种能力，主要是以数据仓库中的集成数据为出发点，来构建面向分析的多维数据模型，这样使得用户能够在不同的维度进行数据分析处理，OLAP技术的主要特点是快速性、可分析性以及多维性，这些特性使其在数据处理方面具有很高的效率，同时在处理数据时也十分的深入；（3）数据集市，主要是对部门进行数据的处理，原始数据会经过数据仓库流入不同的部门，并且能够支持各个部门的定制化使用，每一个部门的数据集合都能成为一个数据的集合，数据集市主要是概括性数据，数据的来源都是数据仓库，能够满足各个部门的需要。
2 数据仓库的系统架构
从源数据开始输出，到将输出结果传至用户终端这一个过程中所处理的数据集合在一起构成了数据仓库系统，数据仓库系统主要负责的是对数据进行提取、转换以及加载分析，在数据仓库中主要分为五个部分，分别是源数据库层、提取转换装载层、数据仓库层以及处理层[2]。（1）源数据层，主要是指整个数据库的来源，以及对数据的经营，在日常的生产中会产生海量的数据，这些都是数据库数据的来源，其中有历史数据、非结构化数据以及外部数据等；（2）提取转换并且装载数据，在数据仓库中，数据仓库的源数据仅仅是来自于不同的平台，因此其存储的格式也不相同，在数据采集区，能够将数据的格式进行统一的转换，将转换的数据在处理之后存储在缓冲区，仅仅是保留窗口内部的数据，在ETL的模块中，主要是对数据进行提取转换处理。对用户所需要的数据进行处理，以此来辅助企业进行相应的运营分析，并且其抽取的数据都是一些比较的有用的数据。另外它还能够对数据库中的一些错误的数据进行清洗删除。在数据库中由于数据的种类很多，并且格式不同，因此会通过ETL对数据进行处理，进行统一格式的转换，从而来方便数据的存储，最后是对数据的装载，将不同的数据按照各个模块将其装入到数据仓库中；（3）数据仓库层，利用多维度模型对数据进行存储；（4）处理层，主要是对源数据进行分析处理以及备份恢复，主要是针对数据仓库的安全以及稳定高效建立的；（5）表示层，主要是为了方便用户的使用，对数据进行挖掘，利用OLAP系统能够为用户提供强大的统计、分析以及报表功能，这样能够在相应的数据中找到用户需要的信息，从而根据信息建立相应的预测模型，将最终的结果进行客户分析，这些对电信运营商的后续有很大的意义。
3 基于Haddoop的数据处理能力
随着客户数量的不断增加，相关运营商的CRM系统内的数据量也在日益增多，因此对于大量数据的处理，是目前研究的重点。Haddoop开发的开源技术HDFS分布式文件处理系统对于大量数据的处理能力很强，并且该技术也得到了广泛的应用。在HDFS的集群中，由一个主要的节点与多个节点组成，并且主节点主要是负责在系统中对文件的访问，而数据节点则是对各个节点上的数据进行存储。在系统内部进行运行时，一个文件被分成了很多各数据块，并且将数据存储在各个数据节点上，同时主节点发出相应的命令，规划不同的数据快到各自的数据节点上，各个数据节点对根据相应的命令进行数据的处理。
还有一种技术是MapReduce编程方式，这是一种新型编程模型，主要是对海量的数据进行运算，这样使相关的编程人员不用使用分布式编程方式，利用映射与化简的方式就能够将原有的程序运行在相应的分布式系统上[3]。其中主要先确定某一个函数，并且将其映射在另外一组新的键值，然后用户要对自身的Map操作进行定义，之后再对REDUCE函数值进行定位合并所有中间值。MapReduce主要是有两个部分组成，MAP是一个部分，主要功能是将一个任务进行相应的拆分，将其拆分成多个任务，而另一个部分Reduce则是将拆分的任务进行汇总，以此来得出最终的结果。MapReduce对于数据集群进行大规模的处理，主要是在利用各个节点将数据输送至网络上的各个数据节点，从而进行运算，并且每一个节点都会定期对工作的状态进行报告。
4 结束语
CRM的建立能够有效的对数据进行处理，还可以对客户资料进行分析，与此同时还能够形成完整的檔案以及客户数据仓库，利用CRM系统能够对客户进行全面的分析以及应用，以此来对客户的信息进行更好的管理，从而来收集更多具有价值的信息，并且能够促进市场营销的进行，带动运营商长远的发展。
参考文献：
[1]高翔.基于J2EE架构的知识发现技术在CRM系统中的应用研究[J].西北工业大学，2011（01）：20-21.
[2]刘峰.基于统计的数据挖掘技术在CRM系统中的应用研究[J].大连理工大学，2012（02）：20-24.
[3]单友成.CRM中模糊数据挖掘及客户生命周期价值与客户满意度研究[J].天津大学，2010（01）：30-31.
作者单位：北京大学，北京 100080