论文部分内容阅读
摘要： 随着高校信息化的发展，多种不同功能的信息系统建设带来了“数据孤岛”的问题。为了杜绝或减少系统之间的“数据孤岛”，信息系统之间的数据交换和共享是一个行之有效的方法。该文以图书信息系统为例，利用先进的数据共享中心和数据清洗与整合系统平台，结合高校的实际需求，实现了图书信息系统和共享数据中心之间的数据交换，以及数据共享，在实际应用中获得了较好的应用效果。
关键词：高校信息化；图书信息系统；共享数据中心；数据交换
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）26-0001-04
Abstract： With the rapid development of informationization in colleges and universities， colleges and universities establish a lot of information systems， these different information systems with many various functions bring the problem of "data island". Data exchange and sharing between information systems is an effective method to eliminate or reduce the "data island". This paper takes the library information system as an example， and uses advanced data cleaning and integration platform to realize the exchange between the system and the shared data center according to the actual needs of the colleges and universities. In practice， good results have been achieved.
Key words：University information； Library information system； Shared data center； Data exchange
大數据时代的到来，使得高校对数据整合和共享的需求十分强烈[1]。这是因为，高校不但有种类繁多的业务信息系统，而且这些业务信息系统经过多年运行后，积累了大量的数据。一方面，这些数据由于分散在不同的业务系统中，数据的一致性、完整性、准确性得不到保证[2]，造成的结果就是信息系统的可靠性受到怀疑；二是随着信息系统应用的不断深入，大量的数据采集和数据交换工作成为常态，原有的应用系统却没有提供这样的功能，学校不得不采用手工方式或定制开发的方式应付不断出现的数据采集和交换的需求，成本高并且效率低下[3]；三是这些数据本来是学校宝贵的财富，但由于没有合适的数据整合和共享的平台以及工具，数据得不到有效的利用，反而因日益膨胀的存储需求而变成了负担。
针对高校图书信息系统来说，它本身是一个独立的信息系统，拥有自己独立的数据库系统，和高校的其他信息系统不存在数据交换和共享的关系，成为了名副其实的“数据孤岛”。比如教师和学生的信息需要图书信息系统的管理员经常性的手动添加、删除、导入；师生登录图书信息系统需要单独的账号和密码；图书信息系统管理员对师生登录账号单独进行管理和维护；师生的借阅信息在高校的其他信息系统里不能浏览或查询，等等。
为解决以上的问题，从学校的层面上，应该建设数据共享中心[4]，各个业务信息系统（包括图书信息系统）可以按数据标准给数据共享中心提供所需的数据，这个数据流程可以称之为“上行数据”；从业务层面上，比如图书信息系统，也可以从共享数据中心获得所需的数据，比如教师、学生的信息，这个数据流程可以称之为“下行数据”。所有的上行和下行的数据流程构成了高校信息系统之间的数据交换和共享。
1 背景分析
共享数据中心是高校信息化的核心支撑平台之一，设计科学合理的数据架构对产品性能及应用格局具有导向性作用[5]。共享数据中心为各业务系统提供一个集成的数据中心，它把重要的、通用的业务数据集成到中心数据库中，为其它所有的业务信息系统提供准确的、一致的数据；从而便于数据在高校各个部门之间有效的流通、共享与利用，解决“数据孤岛”问题；还可以减少重复的数据收集整理工作，从而减轻工作量和减少费用的支出；还便于进行数据分析，为各项决策提供强有力的支持，最终为实现信息集成提供一个可靠的、统一的数据支撑平台。
共享数据中心可以对外提供统一的标准接口，不依赖于具体的应用系统，在不对现有系统进行大的改变的基础上完成分布式异构系统之问的信息交换，实现一个具有可扩展性、可定制性及与平台无关性的异构数据交换系统，能很好地消除数据在结构和语义上的差异，为数据集成、共享和交换提供支持。
我校图书信息系统采用的是北京创讯未来软件技术有限公司的图书信息系统——现代电子化图书馆信息网络系统（Modem Electronic Library Information and Nets System，MELINETS），整个系统包括三大部分：1）图书馆业务应用部分：① 采访子系统；② 典藏流通子系统；③ 连续出版物子系统；④ 公共检索子系统；2）区域资源合作共享应用系统：① Z39.50公共检索子系统；② 馆际互借子系统；③ 编目中心子系统；3）行政业务管理系统：① 人事管理子系统；② 设备管理子系统[6]。
MELINETS采用C/S或B/S应用服务器/数据库服务器体系结构，数据库平台采用大型关系数据库管理系统，可支持SYBASE、ORACLE等数据库，采用POWERBUILDER、JAVA、C等多种语言开发，增强系统的持续性和稳定性。服务器端的设备可选用高档微机、专用服务器以及中、小型计算机，操作系统可选用UNIX、PCUNIX、LINUX、WIN2000/2008/2012等，适用于大、中、小各种类型的图书馆[6]。 在共享数据中心建设和数据交换方面，采用的是成都康赛信息技术有限公司（下称康赛公司）的企业级数据清洗与整合系统（Comsys Data Cleaning and Integration Software，简称DCI）。DCI是以数据为核心，高效、稳定、安全的中间件，可以结合应用系统中的实际场景，完成整个数据清洗与整合的全过程，将分散的、孤立的、异构的数据集中化、标准化和结构化。可以整合学校各部门的业务系统对外共享数据，形成共享数据中心的基础数据库；系统可对基础数据库进行综合加工处理，形成公共共享交换数据库；系统可根据需要自动从主题数据库分别计算生成各种综合报表数据，形成统计报表数据库等等。
2 系统设计
图书信息系统与共享数据中心之间实现数据交换和共享，是图书信息系统与信息门户之间实现单点登录的基础。另外，在信息门户中，师生用户可以查看个人的图书借阅信息以及图书馆的图书资料信息。本文主要讨论图书信息系统的数据交换与共享。在图书信息系统与共享数据中心之间主要解决以下问题：
1） 解决图书信息系统的“数据孤岛”问题，把图书信息系统需要的数据交换过来。
2） 把图书信息系统的数据交换到共享数据中心，以实现与其他信息系统的共享。
3） 实现信息系统间的数据同步交换，保证不同系统关联数据的自动同步，准确一致。
4） 实现高校跨部门、跨业务、跨应用的管理流程集成和全校数据信息共享，解决高校管理漏洞，减少重复工作等问题。
5） 实现所有数据的全面集成和智能分析。
6） 实现快速、准确的获取高校中人、财、物和学、研、管业务过程中的信息。
针对图书信息系统的数据交换和共享，具体功能主要体现在：
整合图书馆管理系统的借阅数据，能够获取学生的图书借阅情况，为学校的管理工作开展提供支持。整合后的图书馆管理系统能够从共享数据中心直接获取学生和教职工信息的基础数据，利于办理图书馆相关业务。实时获取学生图书借阅情况，学生管理人员在办理离校手续时，能够直观的查看相关学生的图书馆手续办理状态。学生欠书提示将通过系统直接同步到学生或学生管理人员的个人门户界面。基于数据共享业务，无需单独办理借书证，学生和教职工仅携带自己的一卡通即可借阅图书。
数据交换主要包含共享数据中心从图书信息系统抽取数据（上行数据）和图书信息系统从共享数据中心订阅数据两个方面（下行数据）。
下行的数据流程图可见图1所示。
从图1中可知，图书信息系统所需共享数据中心的数据通过DCI的数据抽取、清洗和转换等流程到达中间库，然后图书信息系统的数据库系统从中间库取走所需的数据。在上行数据时，图书信息系统把共享数据中心所需的数据放在中间库后，通过DCI的数据抽取、清洗和转换可以提交给中心库，供共享数据中心及其他业务信息系统使用。从而实现图书信息系统与共享数据中心之间需要同步的数据全部通过数据交换平台DCI中间件实现数据同步。
3 数据交换和共享方案
3.1 上行数据方案
根据学校的实际情况，进行了需求分析，最终确定12张表作为上行数据。其中图书基本数据（V_TSG_ TSJBSJZLB）表的结构见表1。
读者当前借阅数据（V_TSG_ TSJYSJZLB）表结构见表2。
读者基本数据（V_TSG_ DZSJZLB）表结构见表3。
除了以上3张表以外，还有借阅历史数据（V_TSG_ JYLSSJZLB）、预约通知数据（V_TSG_ YYTZSJ）、购书推荐数据（V_TSG_ GSTJSJ）、已回复的留言数据（V_TSG_ YHFLYSJ）、新书通报数据（V_TSG_ XSTBSJ）、借阅排行（V_TSG_ JYSJPH）、收藏排行（V_TSG_ SCPH）、查看排行（V_TSG_ CKPH）、书评排行（V_TSG_ SPPH）等表，由于篇幅所限，不再一一赘述。
这12张表所需的数据由图书信息系统提供，其字段为参考字段，在实际编写数据接口时可以以图书信息系统实际字段为准，并尽可能提供全部相关字段。
图书信息系统管理方参照本节的表编写数据接口，并将数据接口相关参数提供给数据集成方，数据集成方按照学校需求对数据进行采集，数据抽取具体时间及频率等由学校共享数据中心管理员自行控制，图书信息系统管理方需提供的数据接口内容：数据库类型、数据库版本、IP地址、数据库名称、端口号、用户名、密码。当然上行数据仅需数据库用户读权限。
3.2 下行数据方案
圖书信息系统需要共享数据中心推送教师和学生的信息，用于结合学校的一卡通系统，办理图书借阅、逾期扣款等业务。所以需要教师的基础数据、学生的基础数据以及学籍数据等。表4是教师的基础数据（JZGJCSJZLB）表结构，其他的表不再一一赘述。
同样道理，数据集成方参照本节的表编写数据接口，并将数据接口相关参数提供给图书信息系统管理方，图书信息管理方按照图书馆的需求对数据进行采集，数据抽取具体时间及频率等由学校共享数据中心管理员自行控制，数据集成方需提供的数据接口内容：数据库类型、数据库版本、IP地址、数据库名称、端口号、用户名、密码。
4 功能实现
在实际工作中，我校采用了康赛公司的共享数据中心系统与DCI系统。
共享数据中心包括信息标准管理工具、共享中心库管理工具、数据服务管理工具，它与数据清洗转换中间件DCI一起协作实现各类应用管理系统间数据共享，形成全校权威数据中心库，是为学校提供全面权威信息查询统计和数据挖掘分析的重要基础。
高校建立统一共享数据中心作为校内基本数据的唯一共享平台，集中整理各个业务部门的基本数据，实现统一管理，保证数据的权威和准确，为各个业务应用系统和各类服务系统提供数据支持。
图2是共享数据中心的一个页面的功能截图，该页面主要可以完成图书资料方面的信息标准化。
DCI产品实现了针对于数据的清洗与整合处理。它分别由数据整合管理系统（DCI-MS）、数据整合客户端作业设计器（DCI-Studio）和数据整合执行引擎（DCI-Engine）三个子系统组成，三个子系统在DCI产品中各司其职，扮演着不同的角色，完成各自的业务功能。图3是数据交换的一个页面的功能截图，该页面主要可以实现图书信息中的读者信息的数据交换。
5 结束语
本文基于康赛公司的共享数据中心和数据清洗与整合系统（DCI）产品，以高校图书信息系统为例，论述了如何实现高校信息系统与高校共享数据中心之间的数据交换，同时，通过数据共享中心也可以把数据分享到相应的信息系统中去，实现了高校信息系统数据的共享和交换。在保障数据交换的前提下实现高校信息数据的共享，从技术层面不仅可以杜绝或加减少高校信息系统之间的“数据孤岛”问题，而且还可以为以后的智慧校园建设提供有力的支撑；从管理的层面不仅可以减少信息管理的工作，而且还可以提高全校信息化、自动化的管理水平。
参考文献：
[1] 张燕南. 大数据的教育领域应用之研究[D]. 华东师范大学，2016.
[2] 周宏广. 异构数据源集成中清洗策略的研究及应用[D]. 中南大学，2004.
[3] 林禄水. 高校数字化校园的数据集成设计与实现[D]. 湖南大学，2015.
[4] 杨永涛； 佟连刚. 高校信息化建设中的数据共享研究[J].电子技术，2014，1（43 ）：20-22.
[5] 冉照海. 数字化校园规划与实践[D].长安大学，2013.
[6] 龚纪文. MELINETS使用技巧[EB/OL].[2017-9-6].http：//www.paper.edu.cn/releasepaper/content/200606-487.
[通联编辑：唐一东]
关键词：高校信息化；图书信息系统；共享数据中心；数据交换
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）26-0001-04
Abstract： With the rapid development of informationization in colleges and universities， colleges and universities establish a lot of information systems， these different information systems with many various functions bring the problem of "data island". Data exchange and sharing between information systems is an effective method to eliminate or reduce the "data island". This paper takes the library information system as an example， and uses advanced data cleaning and integration platform to realize the exchange between the system and the shared data center according to the actual needs of the colleges and universities. In practice， good results have been achieved.
Key words：University information； Library information system； Shared data center； Data exchange
大數据时代的到来，使得高校对数据整合和共享的需求十分强烈[1]。这是因为，高校不但有种类繁多的业务信息系统，而且这些业务信息系统经过多年运行后，积累了大量的数据。一方面，这些数据由于分散在不同的业务系统中，数据的一致性、完整性、准确性得不到保证[2]，造成的结果就是信息系统的可靠性受到怀疑；二是随着信息系统应用的不断深入，大量的数据采集和数据交换工作成为常态，原有的应用系统却没有提供这样的功能，学校不得不采用手工方式或定制开发的方式应付不断出现的数据采集和交换的需求，成本高并且效率低下[3]；三是这些数据本来是学校宝贵的财富，但由于没有合适的数据整合和共享的平台以及工具，数据得不到有效的利用，反而因日益膨胀的存储需求而变成了负担。
针对高校图书信息系统来说，它本身是一个独立的信息系统，拥有自己独立的数据库系统，和高校的其他信息系统不存在数据交换和共享的关系，成为了名副其实的“数据孤岛”。比如教师和学生的信息需要图书信息系统的管理员经常性的手动添加、删除、导入；师生登录图书信息系统需要单独的账号和密码；图书信息系统管理员对师生登录账号单独进行管理和维护；师生的借阅信息在高校的其他信息系统里不能浏览或查询，等等。
为解决以上的问题，从学校的层面上，应该建设数据共享中心[4]，各个业务信息系统（包括图书信息系统）可以按数据标准给数据共享中心提供所需的数据，这个数据流程可以称之为“上行数据”；从业务层面上，比如图书信息系统，也可以从共享数据中心获得所需的数据，比如教师、学生的信息，这个数据流程可以称之为“下行数据”。所有的上行和下行的数据流程构成了高校信息系统之间的数据交换和共享。
1 背景分析
共享数据中心是高校信息化的核心支撑平台之一，设计科学合理的数据架构对产品性能及应用格局具有导向性作用[5]。共享数据中心为各业务系统提供一个集成的数据中心，它把重要的、通用的业务数据集成到中心数据库中，为其它所有的业务信息系统提供准确的、一致的数据；从而便于数据在高校各个部门之间有效的流通、共享与利用，解决“数据孤岛”问题；还可以减少重复的数据收集整理工作，从而减轻工作量和减少费用的支出；还便于进行数据分析，为各项决策提供强有力的支持，最终为实现信息集成提供一个可靠的、统一的数据支撑平台。
共享数据中心可以对外提供统一的标准接口，不依赖于具体的应用系统，在不对现有系统进行大的改变的基础上完成分布式异构系统之问的信息交换，实现一个具有可扩展性、可定制性及与平台无关性的异构数据交换系统，能很好地消除数据在结构和语义上的差异，为数据集成、共享和交换提供支持。
我校图书信息系统采用的是北京创讯未来软件技术有限公司的图书信息系统——现代电子化图书馆信息网络系统（Modem Electronic Library Information and Nets System，MELINETS），整个系统包括三大部分：1）图书馆业务应用部分：① 采访子系统；② 典藏流通子系统；③ 连续出版物子系统；④ 公共检索子系统；2）区域资源合作共享应用系统：① Z39.50公共检索子系统；② 馆际互借子系统；③ 编目中心子系统；3）行政业务管理系统：① 人事管理子系统；② 设备管理子系统[6]。
MELINETS采用C/S或B/S应用服务器/数据库服务器体系结构，数据库平台采用大型关系数据库管理系统，可支持SYBASE、ORACLE等数据库，采用POWERBUILDER、JAVA、C等多种语言开发，增强系统的持续性和稳定性。服务器端的设备可选用高档微机、专用服务器以及中、小型计算机，操作系统可选用UNIX、PCUNIX、LINUX、WIN2000/2008/2012等，适用于大、中、小各种类型的图书馆[6]。 在共享数据中心建设和数据交换方面，采用的是成都康赛信息技术有限公司（下称康赛公司）的企业级数据清洗与整合系统（Comsys Data Cleaning and Integration Software，简称DCI）。DCI是以数据为核心，高效、稳定、安全的中间件，可以结合应用系统中的实际场景，完成整个数据清洗与整合的全过程，将分散的、孤立的、异构的数据集中化、标准化和结构化。可以整合学校各部门的业务系统对外共享数据，形成共享数据中心的基础数据库；系统可对基础数据库进行综合加工处理，形成公共共享交换数据库；系统可根据需要自动从主题数据库分别计算生成各种综合报表数据，形成统计报表数据库等等。
2 系统设计
图书信息系统与共享数据中心之间实现数据交换和共享，是图书信息系统与信息门户之间实现单点登录的基础。另外，在信息门户中，师生用户可以查看个人的图书借阅信息以及图书馆的图书资料信息。本文主要讨论图书信息系统的数据交换与共享。在图书信息系统与共享数据中心之间主要解决以下问题：
1） 解决图书信息系统的“数据孤岛”问题，把图书信息系统需要的数据交换过来。
2） 把图书信息系统的数据交换到共享数据中心，以实现与其他信息系统的共享。
3） 实现信息系统间的数据同步交换，保证不同系统关联数据的自动同步，准确一致。
4） 实现高校跨部门、跨业务、跨应用的管理流程集成和全校数据信息共享，解决高校管理漏洞，减少重复工作等问题。
5） 实现所有数据的全面集成和智能分析。
6） 实现快速、准确的获取高校中人、财、物和学、研、管业务过程中的信息。
针对图书信息系统的数据交换和共享，具体功能主要体现在：
整合图书馆管理系统的借阅数据，能够获取学生的图书借阅情况，为学校的管理工作开展提供支持。整合后的图书馆管理系统能够从共享数据中心直接获取学生和教职工信息的基础数据，利于办理图书馆相关业务。实时获取学生图书借阅情况，学生管理人员在办理离校手续时，能够直观的查看相关学生的图书馆手续办理状态。学生欠书提示将通过系统直接同步到学生或学生管理人员的个人门户界面。基于数据共享业务，无需单独办理借书证，学生和教职工仅携带自己的一卡通即可借阅图书。
数据交换主要包含共享数据中心从图书信息系统抽取数据（上行数据）和图书信息系统从共享数据中心订阅数据两个方面（下行数据）。
下行的数据流程图可见图1所示。
从图1中可知，图书信息系统所需共享数据中心的数据通过DCI的数据抽取、清洗和转换等流程到达中间库，然后图书信息系统的数据库系统从中间库取走所需的数据。在上行数据时，图书信息系统把共享数据中心所需的数据放在中间库后，通过DCI的数据抽取、清洗和转换可以提交给中心库，供共享数据中心及其他业务信息系统使用。从而实现图书信息系统与共享数据中心之间需要同步的数据全部通过数据交换平台DCI中间件实现数据同步。
3 数据交换和共享方案
3.1 上行数据方案
根据学校的实际情况，进行了需求分析，最终确定12张表作为上行数据。其中图书基本数据（V_TSG_ TSJBSJZLB）表的结构见表1。
读者当前借阅数据（V_TSG_ TSJYSJZLB）表结构见表2。
读者基本数据（V_TSG_ DZSJZLB）表结构见表3。
除了以上3张表以外，还有借阅历史数据（V_TSG_ JYLSSJZLB）、预约通知数据（V_TSG_ YYTZSJ）、购书推荐数据（V_TSG_ GSTJSJ）、已回复的留言数据（V_TSG_ YHFLYSJ）、新书通报数据（V_TSG_ XSTBSJ）、借阅排行（V_TSG_ JYSJPH）、收藏排行（V_TSG_ SCPH）、查看排行（V_TSG_ CKPH）、书评排行（V_TSG_ SPPH）等表，由于篇幅所限，不再一一赘述。
这12张表所需的数据由图书信息系统提供，其字段为参考字段，在实际编写数据接口时可以以图书信息系统实际字段为准，并尽可能提供全部相关字段。
图书信息系统管理方参照本节的表编写数据接口，并将数据接口相关参数提供给数据集成方，数据集成方按照学校需求对数据进行采集，数据抽取具体时间及频率等由学校共享数据中心管理员自行控制，图书信息系统管理方需提供的数据接口内容：数据库类型、数据库版本、IP地址、数据库名称、端口号、用户名、密码。当然上行数据仅需数据库用户读权限。
3.2 下行数据方案
圖书信息系统需要共享数据中心推送教师和学生的信息，用于结合学校的一卡通系统，办理图书借阅、逾期扣款等业务。所以需要教师的基础数据、学生的基础数据以及学籍数据等。表4是教师的基础数据（JZGJCSJZLB）表结构，其他的表不再一一赘述。
同样道理，数据集成方参照本节的表编写数据接口，并将数据接口相关参数提供给图书信息系统管理方，图书信息管理方按照图书馆的需求对数据进行采集，数据抽取具体时间及频率等由学校共享数据中心管理员自行控制，数据集成方需提供的数据接口内容：数据库类型、数据库版本、IP地址、数据库名称、端口号、用户名、密码。
4 功能实现
在实际工作中，我校采用了康赛公司的共享数据中心系统与DCI系统。
共享数据中心包括信息标准管理工具、共享中心库管理工具、数据服务管理工具，它与数据清洗转换中间件DCI一起协作实现各类应用管理系统间数据共享，形成全校权威数据中心库，是为学校提供全面权威信息查询统计和数据挖掘分析的重要基础。
高校建立统一共享数据中心作为校内基本数据的唯一共享平台，集中整理各个业务部门的基本数据，实现统一管理，保证数据的权威和准确，为各个业务应用系统和各类服务系统提供数据支持。
图2是共享数据中心的一个页面的功能截图，该页面主要可以完成图书资料方面的信息标准化。
DCI产品实现了针对于数据的清洗与整合处理。它分别由数据整合管理系统（DCI-MS）、数据整合客户端作业设计器（DCI-Studio）和数据整合执行引擎（DCI-Engine）三个子系统组成，三个子系统在DCI产品中各司其职，扮演着不同的角色，完成各自的业务功能。图3是数据交换的一个页面的功能截图，该页面主要可以实现图书信息中的读者信息的数据交换。
5 结束语
本文基于康赛公司的共享数据中心和数据清洗与整合系统（DCI）产品，以高校图书信息系统为例，论述了如何实现高校信息系统与高校共享数据中心之间的数据交换，同时，通过数据共享中心也可以把数据分享到相应的信息系统中去，实现了高校信息系统数据的共享和交换。在保障数据交换的前提下实现高校信息数据的共享，从技术层面不仅可以杜绝或加减少高校信息系统之间的“数据孤岛”问题，而且还可以为以后的智慧校园建设提供有力的支撑；从管理的层面不仅可以减少信息管理的工作，而且还可以提高全校信息化、自动化的管理水平。
参考文献：
[1] 张燕南. 大数据的教育领域应用之研究[D]. 华东师范大学，2016.
[2] 周宏广. 异构数据源集成中清洗策略的研究及应用[D]. 中南大学，2004.
[3] 林禄水. 高校数字化校园的数据集成设计与实现[D]. 湖南大学，2015.
[4] 杨永涛； 佟连刚. 高校信息化建设中的数据共享研究[J].电子技术，2014，1（43 ）：20-22.
[5] 冉照海. 数字化校园规划与实践[D].长安大学，2013.
[6] 龚纪文. MELINETS使用技巧[EB/OL].[2017-9-6].http：//www.paper.edu.cn/releasepaper/content/200606-487.
[通联编辑：唐一东]