论文部分内容阅读
摘 要:本文通过分析SOA技术和SOA实现平台的组件,提出基于SOA数据集成平台是由数据层、交换层、集成层和服务层组成,该平台与软件和平台无关,具有松耦合的特性,可以有效地实现高校异构系统间的数据集成。
关键词:数据集成;Web服务;面向服务体系架构
中图分类号:TP309.2 文献标识码:A文章编号:1673-8454(2010)09-0079-03
一、引言
随着高校信息化建设的不断深入,数据共享和数据集成成为高校当前面临的紧迫问题。传统的数据集成方法不能方便、低投入地实现异构系统间的数据集成,难以适应现代高校业务变化需求。高校的数据集成需要一个能够支持系统的松耦合性、自治性、开放性、服务可重用性、部署灵活性以及系统兼容性的平台架构,SOA是一个很好的选择。本文通过研究面向服务的数据集成技术来实现高校应用系统间的数据共享和服务模式,探讨面向服务的数据集成的可行性方案,为推进高校数字化校园的建设进程提供最优的解决方案。
二、面向服务的体系结构
1.SOA的概述
面向服务的体系结构(Service-Oriented Architecture,SOA)是一个组件模型,它将应用程序的不同功能单元通过服务之间定义良好的接口和契约联系起来。[1][2]接口是采用中立的方式进行定义的,它独立于实现服务的硬件平台、操作系统和编程语言。构建在不同系统中的服务接口可以以一种统一和通用的方式进行交互,具有松耦合的特征。
SOA不是一种语言,也不是一种具体的技术,而是一种软件系统架构,以服务为基础,实现软件系统不同部分的松耦合。[3]Web服务并非是实现SOA的必需组件,但它所具有的优势使其在实现SOA时具有重要地位,在实践过程中往往被优先考虑为实现SOA的技术而得到采用。
2.SOA实现平台的功能组件
SOA应用的具体实现依赖于实际的SOA实现平台,[4]平台包含的基本组件分为两类:功能元素和服务质量元素,SOA实现平台的基本组件如图1所示。
服务注册中心:服务和数据描述的存储库,服务提供者可以通过服务注册中心发布服务,服务请求者可以通过服务注册中心发现或查找可用的服务。
业务流程:由一个服务或多个服务构成,按照特定的顺序,使用一组特定的规则进行调用,以满足业务要求。
服务:实际可供使用的服务实体。
服务描述:描述服务是什么、应该如何调用服务以及调用服务需要什么数据。
服务通信协议:通过这种机制,将服务提供者和服务请求者的请求内容和将要返回的内容进行沟通。
传输:将服务访问者的服务请求传送给服务提供者,并且将服务提供者的响应传送给服务访问者。
事务:应用于一组服务,以提供一致的结果。
管理:应用于管理提供的服务或使用的服务。
策略:是一组条件和规则,在这些条件和规则之下,服务提供者可以使服务对于服务请求者可用。
安全性:应用于调用服务的服务使用者的身份验证、授权和访问控制。
3.SOA的优点
松耦合性:SOA为服务请求者和服务提供者之间提供松散、耦合的服务接口。
自治性:SOA自治性表现在服务能够以自组织的形式来控制服务所封装的企业逻辑,并逻辑处理方面具备最大程度的独立性。
开放性:SOA的实现可以完全在遵守各种技术标准的前提下进行,因而最大程度地减少了对具体厂商的依赖性,增加了服务请求者选择使用不同服务提供者的机会。
服务可重用性:服务是定义完整的功能实体,合理的使用可以减少重复功能开发,降低成本。
另外,SOA还具有灵活性、兼容性、多样性、稳定性和扩展性等特点。
三、基于SOA的数据集成设计
整个基于SOA的数据集成平台由数据层、交换层、集成层和服务层组成。其中,数据层由业务部门应用系统的异构数据源组成,是基础。交换层是对异构数据进行XML格式预处理,保证数据传输时数据格式的一致性,是前提。集成层包括数据中心、数据抽取、数据整合、数据发布以及数据交换标准,是核心。数据集成平台的整体功能架构如图2所示。
1.数据层
通过对高校业务系统的数据存储类型进行分析和归类,可分为关系数据库系统、非结构化数据和半结构化数据三种数据类型。
关系型数据库:是用于存储学校业务数据的各种关系数据库系统,如人事处的MS SQL 2000、教务处的MS SQL 2005、图书馆Sybase和财务处的Oracle等,这些系统直接提供XML转换接口。
非结构化数据:是用于存储学校部分业务数据的Excel等数据文件,这些文件通过XML转换工具实现数据的转换。
半结构化数据:是用于存储校内数字资源的XML文件,如图书馆中的部分数字资源、利用开源系统自建的学校机构库等,这些数据直接用Schema抽取数据。
2.交换层
交换层是对数据层中的异构数据进行规格化处理。关系数据库和XML之间的转换机制有两种:基于表的映射和基于对象的映射。本文采用基于对象的映射,[5]原因是基于表的映射只表示结构简单的XML文档,它不能表示数据库模式结构。基于对象的映射把数据库的数据看成对象树,然后将这些数据映射到XML文档中,其核心思想是数据库的表转化为XML复杂类型元素,表的字段转化为该对象的简单类型子元素或者属性,表的主外键关系转化为表对应XML元素之间的父子关系。
交换层是对MS SQL 2000、MS SQL 2005、Sybase和Oracle关系数据库中基础信息表的XML转化规则存储在一个映射文件中,然后对映射文件进行解析生成最终的XML文件。
3.集成层
集成层是对高校业务系统间的数据进行交换和整合,是数据交换平台建设的核心。数据中心负责对业务数据按数据交换标准和数据字典进行数据抽取、数据整合和数据发布。其中,数据抽取模块负责从基层单位或其他系统抽取数据的功能;数据整合模块负责对接收的数据进行格式校验、数据校验、查重和修正,确保数据的完整性和准确性,同时按照数据字典要求统一存放到中心库内;数据发布模块负责将中心库内的数据准确、可靠地发布到指定的目的地。
4.服务层
Web服务管理中心为Web服务提供注册管理和发布功能,为上层应用系统如门户系统等,提供数据访问接口。各数据交换点的Web服务向管理中心注册自己的业务数据交换业务,管理中心根据注册信息进行Web服务的路由并主动调用数据交换节点的数据访问服务来向数据交换节点传送数据或从数据交换节点那里获取数据。
服务注册是对各业务系统需要发布的Web服务进行描述,并在UDDI中心注册,主要内容包括服务定义、调用方法和绑定信息。服务发现是根据服务使用者提出的请求查找所需服务的信息,主要内容包括服务定义、调用方法和绑定信息。
服务数据支持是对所有的UDDI服务进行整理、存储,作为服务注册和服务发现的数据依托。
四、基于SOA的数据集成实现
1.基于ODI的数据集成
ODI(Oracle Data Integrator)是Oracle公司提供的一种数据集成工具,能高效地实现批量数据的抽取、转换和加载。ODI用于对整个数据集成服务的设计,包括创建对数据源的连接架构、创建模型及反向表结构、创建接口、生成方案和计划等。Agent运行程序是通过命令行方式在ODI服务器上启动的服务,对Agent下的执行计划周期性地执行。ODI为数据分发、设计工具、数据集成基础和广泛的数据连接性提供了综合的技术平台功能。
利用ODI数据整合工具对学校的人事管理系统、教务管理系统、财务系统、图书管理系统等数据进行统一数据抽取和数据整合,从而实现对数据层的统一访问。通过以下五个步骤可实现异构数据集成:
(1)分析源系统数据结构,开放源系统数据视图,并创建数据库访问帐号,同时授予视图的读取操作访问权限;
(2)在中心数据库中建立对应数据表;
(3)用ODI工具中的Topology Manager功能创建和配置共享库与源系统数据库的连接架构和代理;
(4)用ODI工具中的Designer功能创建和配置共享库与源系统数据库的接口、包、方案和计划,在Operator里测试执行的结果;
(5)启动Agent,自动执行所创建的计划。
2.Web服务接口的实现
向门户信息系统、统一身份认证系统以及综合分析系统等上层应用系统提供统一的消息机制服务、工作处理流程服务、数据服务、用户体验服务以及身份认证和授权等服务。根据业务需求对服务接口进行分类定义,具体用Visual Studio 2005实现如下各类Web服务接口:
(1)公共服务接口:身份认证接口、授权访问接口等;
(2)通用数据访问:基础数据访问接口,如教师基本信息存取接口、学生基本信息存取接口、课程信息查询接口等;
(3)高速数据访问:在线实时数据访问接口等;
(4)事项及订阅服务:数字资源信息访问接口、待办事宜访问接口等;
(5)历史数据访问服务:各种数据统计分析接口,如科研工作量统计接口、本科生教学工作量统计接口、研究生教学工作量统计接口以及财务数据统计接口等。
最后,将这些定义好的服务接口通过Windows Server 2003提供的企业通用描述、发现和集成服务(UDDI)进行统一管理,同时发布到网络中供其他系统调用。
五、小结
数据集成是一个复杂的系统工程,基于SOA的数据集成建设还需要在实际应用中进一步探索和改进,如对多表数据的抽取、转换、传输及同步需要进一步研究,对Web服务调用的安全性考虑不多,等等。?筅
参考文献:
[1]朱振杰.SOA的关键技术的研究与应用实现[D].硕士学位论文,电子科技大学,2006.
[2]顾莉娜.面向服务的企业应用集成的研究与实践[D].硕士学位论文,同济大学,2005.
[3]陈启祥,杨军.面向服务的软件架构以及其支撑技术的研究[J].湖北工业大学学报,2005 (4):38-41.
[4]王卫玲.基于SOA的Web Services集成技术研究[D].硕士学位论文,广西大学,2007.
[5]聂培尧,魏振刚.一种基于XML的数据集成系统及实现[J].计算机应用,2002,22(9):24-27.
(编辑:隗爽)
关键词:数据集成;Web服务;面向服务体系架构
中图分类号:TP309.2 文献标识码:A文章编号:1673-8454(2010)09-0079-03
一、引言
随着高校信息化建设的不断深入,数据共享和数据集成成为高校当前面临的紧迫问题。传统的数据集成方法不能方便、低投入地实现异构系统间的数据集成,难以适应现代高校业务变化需求。高校的数据集成需要一个能够支持系统的松耦合性、自治性、开放性、服务可重用性、部署灵活性以及系统兼容性的平台架构,SOA是一个很好的选择。本文通过研究面向服务的数据集成技术来实现高校应用系统间的数据共享和服务模式,探讨面向服务的数据集成的可行性方案,为推进高校数字化校园的建设进程提供最优的解决方案。
二、面向服务的体系结构
1.SOA的概述
面向服务的体系结构(Service-Oriented Architecture,SOA)是一个组件模型,它将应用程序的不同功能单元通过服务之间定义良好的接口和契约联系起来。[1][2]接口是采用中立的方式进行定义的,它独立于实现服务的硬件平台、操作系统和编程语言。构建在不同系统中的服务接口可以以一种统一和通用的方式进行交互,具有松耦合的特征。
SOA不是一种语言,也不是一种具体的技术,而是一种软件系统架构,以服务为基础,实现软件系统不同部分的松耦合。[3]Web服务并非是实现SOA的必需组件,但它所具有的优势使其在实现SOA时具有重要地位,在实践过程中往往被优先考虑为实现SOA的技术而得到采用。
2.SOA实现平台的功能组件
SOA应用的具体实现依赖于实际的SOA实现平台,[4]平台包含的基本组件分为两类:功能元素和服务质量元素,SOA实现平台的基本组件如图1所示。
服务注册中心:服务和数据描述的存储库,服务提供者可以通过服务注册中心发布服务,服务请求者可以通过服务注册中心发现或查找可用的服务。
业务流程:由一个服务或多个服务构成,按照特定的顺序,使用一组特定的规则进行调用,以满足业务要求。
服务:实际可供使用的服务实体。
服务描述:描述服务是什么、应该如何调用服务以及调用服务需要什么数据。
服务通信协议:通过这种机制,将服务提供者和服务请求者的请求内容和将要返回的内容进行沟通。
传输:将服务访问者的服务请求传送给服务提供者,并且将服务提供者的响应传送给服务访问者。
事务:应用于一组服务,以提供一致的结果。
管理:应用于管理提供的服务或使用的服务。
策略:是一组条件和规则,在这些条件和规则之下,服务提供者可以使服务对于服务请求者可用。
安全性:应用于调用服务的服务使用者的身份验证、授权和访问控制。
3.SOA的优点
松耦合性:SOA为服务请求者和服务提供者之间提供松散、耦合的服务接口。
自治性:SOA自治性表现在服务能够以自组织的形式来控制服务所封装的企业逻辑,并逻辑处理方面具备最大程度的独立性。
开放性:SOA的实现可以完全在遵守各种技术标准的前提下进行,因而最大程度地减少了对具体厂商的依赖性,增加了服务请求者选择使用不同服务提供者的机会。
服务可重用性:服务是定义完整的功能实体,合理的使用可以减少重复功能开发,降低成本。
另外,SOA还具有灵活性、兼容性、多样性、稳定性和扩展性等特点。
三、基于SOA的数据集成设计
整个基于SOA的数据集成平台由数据层、交换层、集成层和服务层组成。其中,数据层由业务部门应用系统的异构数据源组成,是基础。交换层是对异构数据进行XML格式预处理,保证数据传输时数据格式的一致性,是前提。集成层包括数据中心、数据抽取、数据整合、数据发布以及数据交换标准,是核心。数据集成平台的整体功能架构如图2所示。
1.数据层
通过对高校业务系统的数据存储类型进行分析和归类,可分为关系数据库系统、非结构化数据和半结构化数据三种数据类型。
关系型数据库:是用于存储学校业务数据的各种关系数据库系统,如人事处的MS SQL 2000、教务处的MS SQL 2005、图书馆Sybase和财务处的Oracle等,这些系统直接提供XML转换接口。
非结构化数据:是用于存储学校部分业务数据的Excel等数据文件,这些文件通过XML转换工具实现数据的转换。
半结构化数据:是用于存储校内数字资源的XML文件,如图书馆中的部分数字资源、利用开源系统自建的学校机构库等,这些数据直接用Schema抽取数据。
2.交换层
交换层是对数据层中的异构数据进行规格化处理。关系数据库和XML之间的转换机制有两种:基于表的映射和基于对象的映射。本文采用基于对象的映射,[5]原因是基于表的映射只表示结构简单的XML文档,它不能表示数据库模式结构。基于对象的映射把数据库的数据看成对象树,然后将这些数据映射到XML文档中,其核心思想是数据库的表转化为XML复杂类型元素,表的字段转化为该对象的简单类型子元素或者属性,表的主外键关系转化为表对应XML元素之间的父子关系。
交换层是对MS SQL 2000、MS SQL 2005、Sybase和Oracle关系数据库中基础信息表的XML转化规则存储在一个映射文件中,然后对映射文件进行解析生成最终的XML文件。
3.集成层
集成层是对高校业务系统间的数据进行交换和整合,是数据交换平台建设的核心。数据中心负责对业务数据按数据交换标准和数据字典进行数据抽取、数据整合和数据发布。其中,数据抽取模块负责从基层单位或其他系统抽取数据的功能;数据整合模块负责对接收的数据进行格式校验、数据校验、查重和修正,确保数据的完整性和准确性,同时按照数据字典要求统一存放到中心库内;数据发布模块负责将中心库内的数据准确、可靠地发布到指定的目的地。
4.服务层
Web服务管理中心为Web服务提供注册管理和发布功能,为上层应用系统如门户系统等,提供数据访问接口。各数据交换点的Web服务向管理中心注册自己的业务数据交换业务,管理中心根据注册信息进行Web服务的路由并主动调用数据交换节点的数据访问服务来向数据交换节点传送数据或从数据交换节点那里获取数据。
服务注册是对各业务系统需要发布的Web服务进行描述,并在UDDI中心注册,主要内容包括服务定义、调用方法和绑定信息。服务发现是根据服务使用者提出的请求查找所需服务的信息,主要内容包括服务定义、调用方法和绑定信息。
服务数据支持是对所有的UDDI服务进行整理、存储,作为服务注册和服务发现的数据依托。
四、基于SOA的数据集成实现
1.基于ODI的数据集成
ODI(Oracle Data Integrator)是Oracle公司提供的一种数据集成工具,能高效地实现批量数据的抽取、转换和加载。ODI用于对整个数据集成服务的设计,包括创建对数据源的连接架构、创建模型及反向表结构、创建接口、生成方案和计划等。Agent运行程序是通过命令行方式在ODI服务器上启动的服务,对Agent下的执行计划周期性地执行。ODI为数据分发、设计工具、数据集成基础和广泛的数据连接性提供了综合的技术平台功能。
利用ODI数据整合工具对学校的人事管理系统、教务管理系统、财务系统、图书管理系统等数据进行统一数据抽取和数据整合,从而实现对数据层的统一访问。通过以下五个步骤可实现异构数据集成:
(1)分析源系统数据结构,开放源系统数据视图,并创建数据库访问帐号,同时授予视图的读取操作访问权限;
(2)在中心数据库中建立对应数据表;
(3)用ODI工具中的Topology Manager功能创建和配置共享库与源系统数据库的连接架构和代理;
(4)用ODI工具中的Designer功能创建和配置共享库与源系统数据库的接口、包、方案和计划,在Operator里测试执行的结果;
(5)启动Agent,自动执行所创建的计划。
2.Web服务接口的实现
向门户信息系统、统一身份认证系统以及综合分析系统等上层应用系统提供统一的消息机制服务、工作处理流程服务、数据服务、用户体验服务以及身份认证和授权等服务。根据业务需求对服务接口进行分类定义,具体用Visual Studio 2005实现如下各类Web服务接口:
(1)公共服务接口:身份认证接口、授权访问接口等;
(2)通用数据访问:基础数据访问接口,如教师基本信息存取接口、学生基本信息存取接口、课程信息查询接口等;
(3)高速数据访问:在线实时数据访问接口等;
(4)事项及订阅服务:数字资源信息访问接口、待办事宜访问接口等;
(5)历史数据访问服务:各种数据统计分析接口,如科研工作量统计接口、本科生教学工作量统计接口、研究生教学工作量统计接口以及财务数据统计接口等。
最后,将这些定义好的服务接口通过Windows Server 2003提供的企业通用描述、发现和集成服务(UDDI)进行统一管理,同时发布到网络中供其他系统调用。
五、小结
数据集成是一个复杂的系统工程,基于SOA的数据集成建设还需要在实际应用中进一步探索和改进,如对多表数据的抽取、转换、传输及同步需要进一步研究,对Web服务调用的安全性考虑不多,等等。?筅
参考文献:
[1]朱振杰.SOA的关键技术的研究与应用实现[D].硕士学位论文,电子科技大学,2006.
[2]顾莉娜.面向服务的企业应用集成的研究与实践[D].硕士学位论文,同济大学,2005.
[3]陈启祥,杨军.面向服务的软件架构以及其支撑技术的研究[J].湖北工业大学学报,2005 (4):38-41.
[4]王卫玲.基于SOA的Web Services集成技术研究[D].硕士学位论文,广西大学,2007.
[5]聂培尧,魏振刚.一种基于XML的数据集成系统及实现[J].计算机应用,2002,22(9):24-27.
(编辑:隗爽)