论文部分内容阅读
摘 要:本文对目前较常用的异构数据交换的技术进行了分析,总结了各种方法的优缺点。借鉴虚拟法的数据集成的实现思想,结合实际应用中数据集成的需求,提出基于XML技术实现异构数据交换集成的解决方案。该方案简单易行,各系统仍然按照原来的方式运行,共同部分只是XML文档,当需要进行信息交流时,通过中间件把本地数据库数据转换成XML数据文件即可。
关键词:信息孤岛 数据转换方法 数据仓库法 虚拟法 XML
中图分类号:TP311 文献标识码:A 文章编号:1674-098X(2011)02(c)-0046-01
随着Internet技术的迅速发展,许多单位或部门都逐步实现了信息化管理。由于各部门的业务和功能归属不同,形成许多相互隔离的、由不同核心技术设计的信息服务和管理系统。由于系统中数据的表示不同,系统间交换数据很困难,形成“信息孤岛”[1],从而使得各个系统无法保证数据的一致性。
1 常用的解决办法
企业应用集成EAI(Enterprise ApplicationIntegration)是解决这一问题的方法之一。EAI的定义是:“通过硬件、软件、标准和业务过程的结合,实现两个或多个应用系统的无缝集成,使它们能够统一运作”[2]。
按照不同的实现技术,集成方法可以分为三类:数据转换方法、数据仓库法和虚拟法。(1)数据转换方法:通过转换工具在不同数据库之间进行模式映射,将一个数据库中的数据复制、转换为另一个数据库中的数据,从而实现数据库之间的转换。此种方法技术简单,容易实现。(2)数据仓库法:在客户端与数据源之间增加一个数据仓库层,用于存储来自各数据源要交换的数据,系统提供对这个数据仓库的查询机制。好处是既可用于数据集成,又可用于决策支持查询。但当数据源的数据发生变化时,数据仓库中的数据也要作相应的更新。因此,这种体系结构还需要一些数据加载和增量更新等操作。(3)虚拟法:该方法中数据仍保存在各数据源上,集成系统仅提供一个虚拟的集成视图和对该集成模式的查询请求转化成对各异构数据源的查询。在这种体系结构中,中间层根本不存储数据,当客户端发出查询请求时,只需将查询发送到相应的数据源上。比较适合于高度自治、集成数据多、且更新变化快的异构数据源集成 [3]。
2 基于XML的异构的数据交换的解决办法
XML技术具有良好的可靠性与互操作性,再加上XML是基于WEB设计的,更适合于网络化环境,因此被广泛应用在电子商务时代。XML的可扩展性和自描述性更让其在数据描述和信息共享方面有着相当的优势。用户可根据需求自由定制标记,有极大的灵活性,可形成针对行业特点的不同标记集。XML Schema支持许多复杂的数据类型,引入原型和命名空间概念,可随意扩充,使得其不但编写简单,而且内容充实完整,能够给出XML文档详细明确的定义。
如果将XML数据文件与数据库表关联起来,则既可以保留原表的结构信息,还可以有效地让XML文档在网络及数据库间交换数据,并解决不同数据库系统、语义定义等数据表达方面的差异。这就能够解决不同应用系统间信息资源集成的分布和异构等问题,使得数据交换的手段更为简单,明确。
2.1 数据交换的实现思想
借鉴数据转换方法的思想,将内部需要沟通的信息从系统数据源中抽取出来并将其转化为标准的XML文档,然后传送到数据集成平台的数据交换区。当应用系统需要使用这些信息时,读取数据交换区的XML数据文件,进行数据加载,从而完成数据的集成交换。
每个结构不同的XML文档都有各自的Schema模式,Schema中定义相应XML文档的结构、数据类型以及属性等信息。建立各XML Schema模式与不同数据源信息间的映射关系,可以称之为数据转换模式定义,它实际是定义了应用系统数据与标准结构XML数据文件的转换规则,如图1所示。在数据转换标准结构和转换模式确定后,通过数据源数据到XML文件转换的中间件(即抽取转换器),根据定义的映射关系就能实现异构数据源数据到XML标准结构文件的转换。然后将XML数据文件传送到数据交换区。最后,应用系统从数据交换区取得XML数据文件,通过当前应用系统的转换模式定义,利用数据抽取转换器将接收到的XML数据文件转换成自身系统数据源中的数据信息。进而实现异构数据源间的数据交互。图1是数据抽取转换集成原型图。
2.2 方案特点
该方案的优点是简单易行,共同部分可以只是一些XML文档,对于这些文档只做存储、提取就可以了。各系统仍然按照原来的方式运行,当需要进行数据交换时,通过中间件把本地数据库数据转换成XML数据文件或者进行相反的转换即可,利用不同系统都能与XML文档互相转换,进而实现不同系统间的数据交换。
3 展望
要想进一步解决“信息孤岛”问题,可以尝试利用XML数据库作为各系统的中间体,数据可以存储在原有系统,也可以存储在XML数据库中。当有新的应用需求时,可以把XML数据库作为新的应用系统的数据处理后台。经过一段时间的运行后,原有系统的数据会逐渐转移到XML数据库中来,从而达到所有数据平台最终统一。
参考文献
[1] 曹国法.企业信息化产生信息孤岛的根源及解决方法分析[M].
[2] eNet硅谷动力,数据集成中间件OnceDI技术白皮书[M].
[3] 东方通公司,TongIntegrator技术白皮书[M].
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文
关键词:信息孤岛 数据转换方法 数据仓库法 虚拟法 XML
中图分类号:TP311 文献标识码:A 文章编号:1674-098X(2011)02(c)-0046-01
随着Internet技术的迅速发展,许多单位或部门都逐步实现了信息化管理。由于各部门的业务和功能归属不同,形成许多相互隔离的、由不同核心技术设计的信息服务和管理系统。由于系统中数据的表示不同,系统间交换数据很困难,形成“信息孤岛”[1],从而使得各个系统无法保证数据的一致性。
1 常用的解决办法
企业应用集成EAI(Enterprise ApplicationIntegration)是解决这一问题的方法之一。EAI的定义是:“通过硬件、软件、标准和业务过程的结合,实现两个或多个应用系统的无缝集成,使它们能够统一运作”[2]。
按照不同的实现技术,集成方法可以分为三类:数据转换方法、数据仓库法和虚拟法。(1)数据转换方法:通过转换工具在不同数据库之间进行模式映射,将一个数据库中的数据复制、转换为另一个数据库中的数据,从而实现数据库之间的转换。此种方法技术简单,容易实现。(2)数据仓库法:在客户端与数据源之间增加一个数据仓库层,用于存储来自各数据源要交换的数据,系统提供对这个数据仓库的查询机制。好处是既可用于数据集成,又可用于决策支持查询。但当数据源的数据发生变化时,数据仓库中的数据也要作相应的更新。因此,这种体系结构还需要一些数据加载和增量更新等操作。(3)虚拟法:该方法中数据仍保存在各数据源上,集成系统仅提供一个虚拟的集成视图和对该集成模式的查询请求转化成对各异构数据源的查询。在这种体系结构中,中间层根本不存储数据,当客户端发出查询请求时,只需将查询发送到相应的数据源上。比较适合于高度自治、集成数据多、且更新变化快的异构数据源集成 [3]。
2 基于XML的异构的数据交换的解决办法
XML技术具有良好的可靠性与互操作性,再加上XML是基于WEB设计的,更适合于网络化环境,因此被广泛应用在电子商务时代。XML的可扩展性和自描述性更让其在数据描述和信息共享方面有着相当的优势。用户可根据需求自由定制标记,有极大的灵活性,可形成针对行业特点的不同标记集。XML Schema支持许多复杂的数据类型,引入原型和命名空间概念,可随意扩充,使得其不但编写简单,而且内容充实完整,能够给出XML文档详细明确的定义。
如果将XML数据文件与数据库表关联起来,则既可以保留原表的结构信息,还可以有效地让XML文档在网络及数据库间交换数据,并解决不同数据库系统、语义定义等数据表达方面的差异。这就能够解决不同应用系统间信息资源集成的分布和异构等问题,使得数据交换的手段更为简单,明确。
2.1 数据交换的实现思想
借鉴数据转换方法的思想,将内部需要沟通的信息从系统数据源中抽取出来并将其转化为标准的XML文档,然后传送到数据集成平台的数据交换区。当应用系统需要使用这些信息时,读取数据交换区的XML数据文件,进行数据加载,从而完成数据的集成交换。
每个结构不同的XML文档都有各自的Schema模式,Schema中定义相应XML文档的结构、数据类型以及属性等信息。建立各XML Schema模式与不同数据源信息间的映射关系,可以称之为数据转换模式定义,它实际是定义了应用系统数据与标准结构XML数据文件的转换规则,如图1所示。在数据转换标准结构和转换模式确定后,通过数据源数据到XML文件转换的中间件(即抽取转换器),根据定义的映射关系就能实现异构数据源数据到XML标准结构文件的转换。然后将XML数据文件传送到数据交换区。最后,应用系统从数据交换区取得XML数据文件,通过当前应用系统的转换模式定义,利用数据抽取转换器将接收到的XML数据文件转换成自身系统数据源中的数据信息。进而实现异构数据源间的数据交互。图1是数据抽取转换集成原型图。
2.2 方案特点
该方案的优点是简单易行,共同部分可以只是一些XML文档,对于这些文档只做存储、提取就可以了。各系统仍然按照原来的方式运行,当需要进行数据交换时,通过中间件把本地数据库数据转换成XML数据文件或者进行相反的转换即可,利用不同系统都能与XML文档互相转换,进而实现不同系统间的数据交换。
3 展望
要想进一步解决“信息孤岛”问题,可以尝试利用XML数据库作为各系统的中间体,数据可以存储在原有系统,也可以存储在XML数据库中。当有新的应用需求时,可以把XML数据库作为新的应用系统的数据处理后台。经过一段时间的运行后,原有系统的数据会逐渐转移到XML数据库中来,从而达到所有数据平台最终统一。
参考文献
[1] 曹国法.企业信息化产生信息孤岛的根源及解决方法分析[M].
[2] eNet硅谷动力,数据集成中间件OnceDI技术白皮书[M].
[3] 东方通公司,TongIntegrator技术白皮书[M].
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文