论文部分内容阅读
摘要：随着高校的信息化建设水平的不断提供，需要对学校的信息资源进行有效整合和深度应用。文章对高校智慧数据体系的规划、设计和建设进行了初步研究和探讨，界定了智慧数据体系规划的内容，明确了研究方法。通过对高校各业务系统的分析，规划了高校信息资源体系架构，设计了数据管理和分析应用的技术平台，用于指导高校基于大数据技术的智慧数据体系平台构建。
关键词：数据体系；数据仓库；大数据；数据管理
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）19-0003-02
随着高校信息化建设的逐步深入，各高校在建设过程中产生了大量的信息，如学生的学籍信息、选课信息、消费信息等；教师的教学信息、科研信息等；还包含涉及人、财、物等相关的校情信息。不少高校已建立了数据中心积累了大量的结构化数据，解决了“数据孤岛”问题。数据中心里面的数据除了能提供简单查询和统计功能外，许多看似没有关联的数据之间常常暗含联系，蕴藏更多的信息和知识，这就需要运用专业的工具和方法进行分析。因此，在当今智慧校园的大背景下，同时基于大数据、云计算等新技术快速发展和应用，各高校也需根据学校自身发展的需要，制定统一的数据标准体系，对学校的数据模型进行统一设计，这是推进学校数据中心建设的依据，在此基础上再进行数据采集、分析和挖掘，并最终展示出来，形成一套完整的智慧数据体系系统。智能数据体系是智能校园的一部分，它不但是简单地从数据到信息，从信息到知识，从知识到智能这么理性，更重要的是从价值发现新价值。因此，智慧数据体系也将成为一座桥梁连接虚拟世界和现实世界。
1研究内容
高校数据中心的智慧数据体系的研究包括四个部分组成：1）总体规划。总体规划是对全校业务系统和数据进行梳理，形成学校信息化建设的顶层设计。2）数据采集。数据采集是通过制定策略，获取学校各部门业务系统中产生的数据，并对其进行清洗和存储。3）数据分析。数据分析是运用专业工具对采集的数据进行专项的分析、提取和挖掘。4）信息服务。信息服务是指根据校园网各类用户的需求，通过门户或其他客户端将数据分析的结果传递给用户进行使用。
2总体规划
信息资源体系的总体架构规划采用SOA架构进行规划，主要包括三层：网络基础设施层、数据平台层、服务展现层。见图1。
信息资源体系架构设计是高校智慧数据体系规划的基础，是对高校数据中心信息资源体系总体架构和智慧数据体系技术架构的梳理和规划。信息资源体系架构的设计过程就是从业务系统中抽象出数据体系的过程，按照学校信息化规划中对数据集成及数据仓库的建设要求，以及学校各部门对信息化的需求，分析各部门业务体系、数据管理和应用现状，设计基于全校的数据体系，是智慧数据体系的基础。
以上图为例，采用面向对象的方法，从业务和信息的视角，对学校各部门使用的业务系统的相关组成对象和业务过程进行抽取和分类，形成教学、人财物和科研、学生、公共服务四类信息的聚合体，描述各对象之间的业务关系，形成学校顶层业务视图，为学校信息化建设、数据的管理和综合应用建立了顶层框架。
通过对学校各部门使用的应用系统的分析，首先对学校各业务系统中产生和存储的信息进行梳理，对业务数据进行分类、体系化，建立了学校信息资源体系架构，在信息资源体系框架下，根据各类业务系统中数据之间的关联关系，进行学校数据模型的设计；其次根据学校各部门数据应用需求和数据技术分类，规划基于全校统一的数据体系框架，对数据的获取、存储、应用、管理需求进行分析，研究智慧数据体系建设中使用的关键技术，设计各类技术架构，指导数据中心的建设。
3数据采集
教学和科研是高校的两大重要工作，因此，教学信息和科研信息是高校的两大核心功能的重要数据，要提高学校的教学水平和科研能力，需要有效的从各业务系统中取得相关数据。高校的智慧数据体系架构必须以学校现有的业务系统为基础，能够应对未来信息化的发展以及各业务系统产生的数据管理需求，因此，业务系统中各阶段产生的数据都是非常有意义的，对其进行采集，并按生命周期进行管理，既保证了数据的完整性又能提高学校数据的质量。高校的智慧数据体系架构的数据采集包括数据的产生、交换、存储、管理等内容。
3.1数据的获取
在学校信息化发展过程中，大部分高校已经基本建立了各类信息系统等，积累了大量的结构化数据，同时还有许多包括XML等半结构化数据，以及多种形式存在的非结构化数据。数据的获取通过使用ETL工具对多种来源的数据进行抽取，转换和加载，并通过企业服务总线（Enterprise Service Bus，ESB）以及文件传输技术，实现学校各部门业务系统之间数据的关联和聚合，并采用统一的数据结构进行数据的存储。高校只有将各个业务充分整合，数据有效的获取，以提高数据的质量，才能将信息化对学校发展的推动作用发挥出来。根据数据类型和来源的不同，需要制定不同的数据抽取策略如抽取方式、抽取时间、抽取周期等，既要满足数据分析的需要，又不能影响业务系统的性能。
3.2数据的存储
学校近年来建设了各类业务系统，产生大量的数据，为保证不同系统之间的数据合理存储和高效利用，避免共享时出现数据不一致的问题，需要合理规划学校的数据存储，建立统一的数据存储标准。数据存储架构设计就是将清洗后的数据按计划增量的方式导人到数据仓库中，用于解决学校数据的存储和管理难题。目前，在高效中各部门产生的业务数据分布总体成星型分布，因此数据存储架构采用数据集中存储和数据分布存储相结合的模式。学校数据中心存放的是各部门需要共享的交换数据、记录生命周期的数据、历史数据，以及用于决策分析的数据。其他数据仍存放于原来的各业务系统的数据库中，用以支持各业务系统的正常运行。另外，在数据存储的时候还要考虑对非结构化数据按照统一的标准进行有序、高效的存储，以方便下一步数据的分析。 3.3数据的管理
学校数据中心的数据积累是个漫长的过程，数据从产生、交换、存储到应用有完整的生命周期。在数据产生和积累过程中，要有效管理才能确保数据质量，使学校数据具有更高的价值。数据管理的目的就是去寻找优化手段，建立有效的数据生命周期管理，有效的控制数据资源，重视历史数据积累，提升数据资源的利用率。高校数据管理架构应以数据为中心，以需求主导服务方向，建立并实施数据管理标准规范（包括编码标准化、数据标准化和维护数据标准化三方面），完善数据最优化。
4数据分析
数据采集完成后的数据将作为数据分析的原始数据。数据分析是智慧数据体系中数据处理流程的重中之重，它将在这个环节体现数据价值之所在。数据分析技术可以从采集的大量的实际应用数据中找到真正有价值的信息和知识，为教师提供学生学习和教学相关的信息以提高教学质量，为科研者提供，为高校管理者提供更科学的统计分析作为决策基础，从而有效的提高学校的教学质量、科研水平等，这对于学校的发展非常重要。在宏观上，高校可以在学科规划、合理设置课程、院系办学评估、智慧化校园网络建设等方面借助大数据分析技术，挖掘数据中潜在的价值。也可以从一些特定的数据中分析挖掘某一方面信息，比如：上网行为分析、学生心理健康、就业情况分析、学习者特征挖掘。
5信息服务
信息服务是根据不同校园网用户的需求，为用户提供公共信息服务、专业信息服务、信息处理服务、决策信息服务等。由于信息服务面向最终用户，因此它也是智慧数据体系的“窗口”。系统存储的大量数据通过对数据分析体系有效、清晰、灵活地呈现给用户，满足不同决策层级用户的决策需求。在高校，数据挖掘可用于学校教学、科研、管理等业务层面进行宏观的挖掘和预测，还能用于评估和判断在微观方面的服务需求，为学校更早的发现问题。比如学习行为分析、干预师生行为、对上网行为分析进行心理干预等。
6总结
当今，云计算及大数据技术快速发展，我们可以利用此类技术及时方便的获取需要的数据，但随着数据的大量累积，要将海量的数据转换成有用的信息或知识，变得越来越难，必需运用许多专业工具进行挖掘和分析，发现数据之间暗含的信息。因此，在高校中建立基于全校范围的智慧数据体系迫在眉睫，只有通过统一的规划，自动的获取和存储存储，有目的的分析与挖掘，给校园网各类用户提供各种统计、分析和决策信息。因此，建立智慧数据体系是高校建设与发展的必由之路，也是智慧校园建设的一部分。本文从智慧数据体系架构设计方面对高校当前和未来信息资源应用和管理的内容和技术架构进行了初步的探讨，希望能对高校信息化建设，以及数据的应用和管理起到参考作用。
关键词：数据体系；数据仓库；大数据；数据管理
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）19-0003-02
随着高校信息化建设的逐步深入，各高校在建设过程中产生了大量的信息，如学生的学籍信息、选课信息、消费信息等；教师的教学信息、科研信息等；还包含涉及人、财、物等相关的校情信息。不少高校已建立了数据中心积累了大量的结构化数据，解决了“数据孤岛”问题。数据中心里面的数据除了能提供简单查询和统计功能外，许多看似没有关联的数据之间常常暗含联系，蕴藏更多的信息和知识，这就需要运用专业的工具和方法进行分析。因此，在当今智慧校园的大背景下，同时基于大数据、云计算等新技术快速发展和应用，各高校也需根据学校自身发展的需要，制定统一的数据标准体系，对学校的数据模型进行统一设计，这是推进学校数据中心建设的依据，在此基础上再进行数据采集、分析和挖掘，并最终展示出来，形成一套完整的智慧数据体系系统。智能数据体系是智能校园的一部分，它不但是简单地从数据到信息，从信息到知识，从知识到智能这么理性，更重要的是从价值发现新价值。因此，智慧数据体系也将成为一座桥梁连接虚拟世界和现实世界。
1研究内容
高校数据中心的智慧数据体系的研究包括四个部分组成：1）总体规划。总体规划是对全校业务系统和数据进行梳理，形成学校信息化建设的顶层设计。2）数据采集。数据采集是通过制定策略，获取学校各部门业务系统中产生的数据，并对其进行清洗和存储。3）数据分析。数据分析是运用专业工具对采集的数据进行专项的分析、提取和挖掘。4）信息服务。信息服务是指根据校园网各类用户的需求，通过门户或其他客户端将数据分析的结果传递给用户进行使用。
2总体规划
信息资源体系的总体架构规划采用SOA架构进行规划，主要包括三层：网络基础设施层、数据平台层、服务展现层。见图1。
信息资源体系架构设计是高校智慧数据体系规划的基础，是对高校数据中心信息资源体系总体架构和智慧数据体系技术架构的梳理和规划。信息资源体系架构的设计过程就是从业务系统中抽象出数据体系的过程，按照学校信息化规划中对数据集成及数据仓库的建设要求，以及学校各部门对信息化的需求，分析各部门业务体系、数据管理和应用现状，设计基于全校的数据体系，是智慧数据体系的基础。
以上图为例，采用面向对象的方法，从业务和信息的视角，对学校各部门使用的业务系统的相关组成对象和业务过程进行抽取和分类，形成教学、人财物和科研、学生、公共服务四类信息的聚合体，描述各对象之间的业务关系，形成学校顶层业务视图，为学校信息化建设、数据的管理和综合应用建立了顶层框架。
通过对学校各部门使用的应用系统的分析，首先对学校各业务系统中产生和存储的信息进行梳理，对业务数据进行分类、体系化，建立了学校信息资源体系架构，在信息资源体系框架下，根据各类业务系统中数据之间的关联关系，进行学校数据模型的设计；其次根据学校各部门数据应用需求和数据技术分类，规划基于全校统一的数据体系框架，对数据的获取、存储、应用、管理需求进行分析，研究智慧数据体系建设中使用的关键技术，设计各类技术架构，指导数据中心的建设。
3数据采集
教学和科研是高校的两大重要工作，因此，教学信息和科研信息是高校的两大核心功能的重要数据，要提高学校的教学水平和科研能力，需要有效的从各业务系统中取得相关数据。高校的智慧数据体系架构必须以学校现有的业务系统为基础，能够应对未来信息化的发展以及各业务系统产生的数据管理需求，因此，业务系统中各阶段产生的数据都是非常有意义的，对其进行采集，并按生命周期进行管理，既保证了数据的完整性又能提高学校数据的质量。高校的智慧数据体系架构的数据采集包括数据的产生、交换、存储、管理等内容。
3.1数据的获取
在学校信息化发展过程中，大部分高校已经基本建立了各类信息系统等，积累了大量的结构化数据，同时还有许多包括XML等半结构化数据，以及多种形式存在的非结构化数据。数据的获取通过使用ETL工具对多种来源的数据进行抽取，转换和加载，并通过企业服务总线（Enterprise Service Bus，ESB）以及文件传输技术，实现学校各部门业务系统之间数据的关联和聚合，并采用统一的数据结构进行数据的存储。高校只有将各个业务充分整合，数据有效的获取，以提高数据的质量，才能将信息化对学校发展的推动作用发挥出来。根据数据类型和来源的不同，需要制定不同的数据抽取策略如抽取方式、抽取时间、抽取周期等，既要满足数据分析的需要，又不能影响业务系统的性能。
3.2数据的存储
学校近年来建设了各类业务系统，产生大量的数据，为保证不同系统之间的数据合理存储和高效利用，避免共享时出现数据不一致的问题，需要合理规划学校的数据存储，建立统一的数据存储标准。数据存储架构设计就是将清洗后的数据按计划增量的方式导人到数据仓库中，用于解决学校数据的存储和管理难题。目前，在高效中各部门产生的业务数据分布总体成星型分布，因此数据存储架构采用数据集中存储和数据分布存储相结合的模式。学校数据中心存放的是各部门需要共享的交换数据、记录生命周期的数据、历史数据，以及用于决策分析的数据。其他数据仍存放于原来的各业务系统的数据库中，用以支持各业务系统的正常运行。另外，在数据存储的时候还要考虑对非结构化数据按照统一的标准进行有序、高效的存储，以方便下一步数据的分析。 3.3数据的管理
学校数据中心的数据积累是个漫长的过程，数据从产生、交换、存储到应用有完整的生命周期。在数据产生和积累过程中，要有效管理才能确保数据质量，使学校数据具有更高的价值。数据管理的目的就是去寻找优化手段，建立有效的数据生命周期管理，有效的控制数据资源，重视历史数据积累，提升数据资源的利用率。高校数据管理架构应以数据为中心，以需求主导服务方向，建立并实施数据管理标准规范（包括编码标准化、数据标准化和维护数据标准化三方面），完善数据最优化。
4数据分析
数据采集完成后的数据将作为数据分析的原始数据。数据分析是智慧数据体系中数据处理流程的重中之重，它将在这个环节体现数据价值之所在。数据分析技术可以从采集的大量的实际应用数据中找到真正有价值的信息和知识，为教师提供学生学习和教学相关的信息以提高教学质量，为科研者提供，为高校管理者提供更科学的统计分析作为决策基础，从而有效的提高学校的教学质量、科研水平等，这对于学校的发展非常重要。在宏观上，高校可以在学科规划、合理设置课程、院系办学评估、智慧化校园网络建设等方面借助大数据分析技术，挖掘数据中潜在的价值。也可以从一些特定的数据中分析挖掘某一方面信息，比如：上网行为分析、学生心理健康、就业情况分析、学习者特征挖掘。
5信息服务
信息服务是根据不同校园网用户的需求，为用户提供公共信息服务、专业信息服务、信息处理服务、决策信息服务等。由于信息服务面向最终用户，因此它也是智慧数据体系的“窗口”。系统存储的大量数据通过对数据分析体系有效、清晰、灵活地呈现给用户，满足不同决策层级用户的决策需求。在高校，数据挖掘可用于学校教学、科研、管理等业务层面进行宏观的挖掘和预测，还能用于评估和判断在微观方面的服务需求，为学校更早的发现问题。比如学习行为分析、干预师生行为、对上网行为分析进行心理干预等。
6总结
当今，云计算及大数据技术快速发展，我们可以利用此类技术及时方便的获取需要的数据，但随着数据的大量累积，要将海量的数据转换成有用的信息或知识，变得越来越难，必需运用许多专业工具进行挖掘和分析，发现数据之间暗含的信息。因此，在高校中建立基于全校范围的智慧数据体系迫在眉睫，只有通过统一的规划，自动的获取和存储存储，有目的的分析与挖掘，给校园网各类用户提供各种统计、分析和决策信息。因此，建立智慧数据体系是高校建设与发展的必由之路，也是智慧校园建设的一部分。本文从智慧数据体系架构设计方面对高校当前和未来信息资源应用和管理的内容和技术架构进行了初步的探讨，希望能对高校信息化建设，以及数据的应用和管理起到参考作用。