论文部分内容阅读
增值电信服务已经成为电信运营商的重要收入来源。在当前一切以用户需求为驱动的市场环境下,分析用户需求,把握用户特点是开发新业务的重点,电信统计分析平台应此需求而生。彩铃统计平台(CSP,Colorful Ringback Tone Statistic Platform)是独立于彩铃业务的统计平台。它采集彩铃业务的运行数据,对用户特征进行深度挖掘,为运营商提供运营策略依据。业务分析平台(SAP,Service Analysis Platform)采集智能网(IN,Intelligent Network)业务运行数据,对业务运行状况进行全面的分析和评价,为智能网运维人员提供自动化辅助工具。SAP和CSP都是典型的电信统计分析平台,其核心是格式多样,数量巨大的数据。为了将这些数据集成到统计分析系统中,需要专用的工具来完成这一任务,这就是ETL(Data Extract,Data Transform,Data Load,数据抽取,数据转换,数据加载)工具。ETL工具从不同环境和应用中抽取数据,对数据进行清洗和转化,形成清洁和统一的数据,最终加载到目标数据库中。在此基础上,上层业务才能进行有效的统计分析工作。电信统计分析平台对于ETL过程具有若干特殊要求——数据类型繁多、数据量巨大、需要控制采集端的性能、ETL应该对频繁变化的元数据进行自适应、应当具备采集实时数据的能力。这些特性在CSP和SAP系统中有突出表现。为了满足这些特殊需求,需要进行深入的需求分析,才能给出相应的解决思路。在需求分析和系统的设计实现过程中,可以积累大量实践经验,进而总结出电信统计分析平台ETL工具的若干特点,及其设计指导原则。将这些经验和设计原则总结起来,就形成了一个适用于电信统计分析平台ETL工具的通用框架。这个框架结构灵活,效率理想。不但可以满足已有需求,同时也具有良好的扩展性,可以与电信统计分析平台一起演进,形成新一代ETL工具。本文围绕电信统计分析平台ETL工具的设计展开论述:首先描述了CSP和SAP这两个应用了ETL技术的系统,然后对相关背景知识——数据仓库和联机分析处理(OLAP,Online Analysis Process),进行了简单介绍。第二章分析了ETL建设过程中需要应对的关键需求,并针对各个需求提出了相应解决思路。在此基础上,总结出了电信统计分析平台ETL工具的若干特点,指出了电信统计分析平台通用ETL框架应当具备的基本特征。第三章,根据第二章的结论,设计并实现了电信统计分析平台通用ETL框架:首先简要介绍了ETL框架的各个组成模块,说明了各模块之间的关系;然后对每个模块的设计实现进行了详细的描述。电信统计分析平台通用ETL框架,是本文的核心创新点。最后一章,分析了电信统计分析平台的发展方向,以及通用ETL框架在电信统计分析平台中的应用前景。