论文部分内容阅读
近几年随着期货行业的不断发展,期货业对IT技术的依赖程度越来越高,柜台交易系统、清算系统、资产管理系统、办公自动化系统、财务系统都相继建成,但目前应用仍以业务运行为主,各个系统间信息缺乏有效的共享手段,形成了大量的“信息孤岛”,缺乏强大的业务支持、管理控制、业务分析和决策支持功能。期货公司为了谋求更大的发展,都在积极变革思维,从外部的扩张转向到内部的管理,从以“业务为导向”转向到以“客户为中心”,从“佣金价格竞争”转向到“服务质量竞争”,期货公司要在激烈的市场竞争中脱颖而出,必须重视公司的核心价值。对于期货公司来说,客户是真正的价值所在,客户关系管理(CRM)作为一种提升客户满意度、提高客户忠诚度、深层次开发客户价值的有效应用受到国内期货公司越来越多的重视。建设以数据中心为基础的CRM系统成为当务之急。对于CRM系统而言,最重要的是全面丰富准确的客户数据,为了满足CRM的各种应用,建立统一的客户视图,建设分析型企业级数据中心是基础。在数据中心建设过程中ETL(Extract、Transform and Load,数据抽取、转换和加载)和数据库是最关键的两个环节,利用ETL将异构数据源中的业务数据经过抽取、清洗和转换、加载到数据中心,为CRM的应用提供高质量的数据。本文以期货CRM项目为依托,详细阐述了期货CRM数据中心规划与设计,ORACLE RAC数据库规划,ETL设计与应用,对ETL的设计与应用研究是本文研究的重点。本文主要工作成果如下:1) ETL相关理论的研究,包括数据仓库、ODS、ETL技术等。研究了构建数据中心相关的数据仓库、ODS和ETL技术,主要包括数据仓库体系结构,ODS体系结构,ETL中的数据抽取、转换、加载、元数据管理、数据质量保证和实时ETL等相关技术。2)期货CRM系统数据中心规划与设计。根据期货CRM的系统需求,规划和设计了数据中心,对ETL的采集流程、数据抽取模式、数据清洗转换方式和并发处理方式进行了规划,对ORACLE RAC数据库系统、存储系统进行了规划和设计。3) ETL在期货数据中心中的应用。根据期货数据中心的需求和特点以及ETL的相关技术,本文设计了一个具有并发和分布式处理能力、支持多种数据源、支持多种数据抽取方式和转换方式符合期货数据中心建设要求的ETL过程,并将该ETL过程应用到期货CRM数据中心,该ETL具有较好的扩展性,在支持多种异构数据源、并行和负载均衡、异常处理和质量保证等方面都具有一定的创新性。