随着国家《文化产业发展纲要》的发布和出版单位改制进程的加速,各出版单位信息化建设也开始从局部信息化向 “编、印、发、财”同平台、一体化的出版ERP系统升级换代。同时,有实力的出版社还着手引进上线OA协同办公系统和数字出版加工系统,在打造业务数字化管理平台的同时建设行政网络办公平台。门户网站也开始升级改造,增加电子书在线销售和纸质书网上发行功能。“一网两平台,多系统建设”成了许多出版单位信息化建设的最新目标。
　　但是,各出版单位局部信息化系统的增加,使得各系统之间不能共享和流通,严重影响了“一网两平台”的应用性能。原因在于建设方案忽视了信息化建设中的另一项重要内容:企业应用集成(EAI)。
　　EAI是通过建立《数据交换平台》来联系横贯整个出版社的异构系统、应用、数据源等,完成在出版社内部的ERP、财务管理、OA、数字出版系统、网站系统以及其它重要的内部系统之间共享和无缝地交换数据。数据集成则是企业应用集成的重要环节,出版社实现数据集成,可以使更多的人更充分地使用已有数据资源,减少资料收集、数据采集等重复劳动和相应费用,提高信息平台的管理效能。
　　山东出版集团建设基于WEB平台的出版业务综合管理平台时,引进了系统集成商。集成商采用.NTE技术结合IBM的ETL工具,推陈出新定制开发了数据仓库系统,支持整个平台各异构系统之间的数据集成。该系统运行三年来,稳定性和安全性都比较高,问题是每当增加新的集成任务,都需要集成商安排专人修改程序,重新进行调试和部署安装,扩展性较差。
　　2007年,《平章数据交换中心系统2.0》首次将企业应用集成产品化,沿袭了ETL是企业数据集成的主要解决方案的理念,同时开发了用于集成任务扩展的系统设置模块、调度引擎和消息引擎。
　　ETL中三个字母分别代表Extract、Transform、Load,即抽取、转换、加载。数据抽取,从源数据源系统抽取目的数据源系统需要的数据;数据转换,将从源数据源系统获取的数据按照业务需求转换成目的数据源系统要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载,将转换后的数据装载到目的数据源。
　　ETL原本是作为构建数据仓库的一个环节,负责将分布的、异构数据源中的数据,如关系数据平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。在《平章数据交换中心系统2.0》中,则将ETL应用于各分散系统、分散平台之间的数据迁移、数据交换和数据同步。其工作体系图如下:
　　


　　数据抽取支持全表和增量抽取;数据清洗可以针对各个系统的各个环节可能出现的数据二义性、重复、不完整和违反业务规则等问题先行试抽取,将有问题的记录先剔除出来,根据实际情况再做相应的清洗调整操作;数据转换,支持在ETL引擎中转换和直接使用SQL语句进行转换两种方式,可以针对数据交换中心数据库建立的模型,通过一系列的转换来实现将数据从业务模型到分析模型,通过内建的库函数、自定义脚本或其他的扩展方式,实现了各种复杂的转换,并且支持调试环境,清楚地监控数据转换的状态;数据装载也同样支持SQL语句装载和批量工具装载。两者的区别在于前者装载时进行了日志记录,装载内容可恢复,后者易于使用,并且在装入大量数据时效率较高。
　　为提高交换效率和解决负载均衡,系统设计有专门的任务调度工作引擎。用以管理数千个来自不同系统的数据交换任务,可以顺序排队,亦可优先处理,或者按照更高级的组合策略进行。任务完成情况则通过消息引擎及时反馈、记录,便于用户观测。
　　系统最为核心的模块是集成扩展模块。当原有集成平台有新系统增加或需要增加新的集成任务时,技术人员只需要按照需求编写ETL任务包,并打上规则标签,通过窗口加载。而企业人员只需要按照需要定义好任务执行策略,交调度工作引擎模块管理即可。
　　系统采用微软.NET技术+SQL2008开发,B/S架构,目前用于安徽省出版集团、广东省出版集团、中国电力出版社有限责任公司、中国铁道出版社、党建读物出版社等多家出版单位。很好地实现了各单位“一网两平台、多系统”的企业应用集成。与传统的接口程序方式完成相比,采用《平章数据交换中心》系统完成应用集成,不仅可减少硬件投入,同时保障了整个企业应用集成的安全性、可扩展性。
　　(作者单位系北京平章科技发展有限责任公司)