论文部分内容阅读
摘要： 以高校专业建为中心的管理系统，基于 SOA 架构为基础的 SaaS 模式，提供规范化接口方式接入系统。通过数据整合与数据清洗提取有效信息，建立数据共享中心。打破信息孤岛现象，解决管理瓶颈，提高资料复用性。以高校专业建设为中心的管理平台的建设和使用，必将对高校的专业建设与校内资源整合起到积极的推动作用。
关键词： 高校管理平台；云服务；大数据；信息孤岛
【中图分类号】TP311【文献标识码】B【文章编号】2236-1879（2017）21-0011-02
1 项目背景
专业建设必须符合办学思想指导并通过长期实践考验。高校专业建设的高度是学生专业技能发展的重要前提，决定个人专业发展和国家专业的人才储备。学校的资本和品牌一直和自身优秀专业息息相关。提高学生专业发展能力，重点是把握好专业建设的动向，以提升教学水平。
目前许多高校的各个部门如：行政部门和招生部门等多个部门都拥有自己的一套数据管理系统。这些系统数量繁多但功能都自立门户，信息之间没有经过整合。系统数据的分散，导致数据无法共享、数据参差，从而形成了高校内部的信息孤岛。
各部门的信息资源处于孤立分散状态，使得学校各部门的信息传递只能靠人工进行操作，导致数据信息错漏、数据丢失、数据重复、数据不完整性等情况。不利于高校各个部门的信息沟通，降低了学校的办事效率。
学校的领导和老师要从中的到有效的数据非常的困难，特别是进行重点专业建设和专业评估，需要相关的作证资料，要从不同部门的不同系统中抽取数据而且抽取的数据会有错漏、重复、版本不对等问题，大大降低学校的办事效率，降低了办事质量，影响专业建设進度。
2关键技术分析
2.1 大数据。
2.1.1 大数据整合。
（1）数据整合目的。
数据整合不是把进行移植。数据整合是需要预定一个数据规范标准，建设数据共享仓库，从高校整体层面出发的数据共享系统，做到书同文，车同轨。为高校所有服务提供整体的数据共享仓库和信息交流功能。
（2）划分数据焦点。
以高校各个系统的数据库为基础提取出共同的数据标准是划分数据焦点的前提。将高校现有的系统的共享数据按主旨和焦点的方式进行区分，形成与服务相关的焦点。例如收支方面为财务的数据焦点，财务管理系统有高校整体收支的基本信息，学籍系统有学生的学费信息，应将这类型的信息归入到财务焦点。同理，应将与教学关联的基本信息如：课程信息、考试信息等形成教学焦点。
（3）规范化接口。
本系统提供规范化接口，原有系统根据规范化接口接入企业服务总线，从而共享服务数据打破信息孤岛。
需要整合的系统通过调用规范化接口，与企业服务总线进行关联，数据经过清洗、过滤和排错等操作后存储同步到数据库。
2.1.2 大数据清洗 。
数据清洗是对不合要求的数据进行相对应的处理，再得到标准的、干净的、连续的数据。随着高校各个系统接入，需要对各系统的数据进行清洗从而获得准确有效的数据。数据清洗需要做到如下：
（1）检查数据一致性。
一致性检查是根据不同来源的不同指标，实际内涵是一样的，或是同一指标内涵不一致。例如在成绩表中的学生学号信息不存在与学生表中。发现不一致时，要列出：主键值、字段名称、错误信息等，便于进一步核对和纠正。
（2）无效值与缺失值的处理。
由于统计和录入误差，数据中会存在一定的无效数据与缺失数据，需要提供恰当的处理。普遍的处理方法有：估算，整例删除，变量删除和成对删除。
估算。根据数理统计的方式得到的结果代替无效值和缺失值。即使办法简单却很少完美考虑数据中存在的信息，发生误差的可能性很大。
整例删除是直接删除有缺失字段的数据元。由于很多挖掘到的数据都可能存在缺失值，会导致获取到的元数据非常少，无法最大限度利用已经收集到的数据。
变量删除。如果这一个数据元缺少的有效值非常多，而这一个数据元却没有重要意义的情况下可以删除
成对删除。用一些特别的字符象征无效的数据和缺失的数据，与此保留数据集中的全部数据元。
2.2 云计算 。
SaaS是一个软件许可和交付模式，功能与信息集中托管，同时为特定的用户提供特定的信息，用户使用过程中能感受到唯一的服务。
SaaS 有如下优势：
（1）技术难度低。SaaS 模式下的软件让高校教师立即使用软件而不需要进行对软件进行设置部署，只需要进行简单注册即可。高校不再需要相关运维工程师，降低运维成本。
（2）投资成本低。高校只需要投入月租的方式使用本软件不需要购买任何服务器。
在SaaS模式下，严格的安全策略对整个系统至关重要，本系统将使用如下措施解决安全问题：
（1）使用HTTPS为通讯过程提供数据保密及数据完整性。HTTPS能够建立一个信息安全通道。首先客户端向服务器发出加密请求，服务器用自身的私钥进行加密网页之后，与自己的数字证书发送给客户端。客户端会有一个"受信任的根证书颁发机构"的列表，然后客户端会以此表为依据判断解开数字证书的公钥是否在列表之内。如果数字证书是真实有效的，客户端就可用证书中的服务器公钥进行加密信息，再与服务器加密信息的交换。
（2）设计安全数据存储结构应用服务器相与数据库服务器分离，利用防火墙巩固安全。对数据库的关键字段进行加密存储，重点是学生和老师的个人信息以及高校财务数据必须通过加密的方式进行保护，保证数据安全性和保密性。
2.3 自定义表单 。
高校系统因需求的变化会添加或修改系统中的表单。自定义表单基于 AJAX 和 Bootstrap 架构，将大量的HTML字符串来构建表单的数据建模方法，实现表单结构的自定义，增加系统的数据韧性。 用户对组件进行拖拉，并将完善的表单组件从组件库中取出放到在线编辑界面上。最后生成表单 HTML 数据并通过 AJAX 以 JSON 数据的形式发送到后台。系统后台根据 JSON 数据生成数据表。AJAX 作为客户端与服务器之间异步通讯技术，能够减少消耗服务器的资源并允许用户与应用软件之间交互过程的异步进行，让用户得到更好的体验。管理员将设计好的表单发布给指定用户填写，待用户填好表单，将会生成特定的json数据，后台根据接收到的数据对数据库进行操作。
2.4 数据监控与预警。
学校需要对数据进行全方位的监控并得到必要的预警信号。本系统根据在SOA 架构中的企业服务总线加入全局的数据监控与预警服务。学校发出查阅相关数据统计的请求，数据监控服务将会被启动，把数据表中的相关主旨数据进行整合统计并反馈给用户。
高校领导根据严谨的数据监控，可为各部门制定出任务计划，并设置开始日期和结束日期。系统对数据进行检测，在任务长时间内没有完成，则触发预警，对应教师将会收到预警通知
3整体架构
在软件设计中，为了提高开发效率和系统稳定性，使用 ThinkPHP3.23 框架，数据库使用MySQL。同时包含大数据挖掘，云计算，数据检测模块。本系统基于SaaS（软件即服务）设计，高校各大系统可直接使用本系统的公有云，并依据规范化接口接入服务，提供私有云和公有云针对不同的客户需求。规范化接口起到对接作用，高校各个部门的管理系统，通过调用规范接口，与本系统的数据表进行关联与字段绑定从而获得本系统服务，为下一步数据整合提供数据基础。数据整合在用户调用规范接口，与用户的管理系统数据表进行关联绑定的基础上，对数据进行挖掘。数据清洗对挖掘得到的数据集进行清洗，通过数据双录入对比、数据合并、查找重复数据、查找缺失数据、查找异常数据。从而对重复数据、错漏数据进行过濾。最后进行数据同步，同步到数据库。云端用户向云系统发起请求查找服务，云系统根据查找对应服务并授权用户使用。图2为系统整体架构。
参考文献
[1]郑广成.一种SOA云服务平台架构研究与应用[A].上海.中国计算机应用与件.2011.228-231
[2]陶灵兵，陈燕兵.关勤.高校专业建设网络信息管理系统的研究和实现[A].上海.科技视界.2013.92-93
[3]李学俭，何文华.基于SOA架构的高校数据资源整合研究[A].西安.计算机技术与发展.2010.78-81
[4]孟龙梅.数据挖掘过程中数据清洗的研究[A].通化.通化师范学院学报（自然科学）.2015.7-10
[5]金珊，吴国芳.基于SaaS模式的SOA服务分析与设计[A].浙江.信息化建设.2009.115-118
[6]维基百科.数据清洗http：//wiki.mbalib.com/wiki/数据清洗
关键词： 高校管理平台；云服务；大数据；信息孤岛
【中图分类号】TP311【文献标识码】B【文章编号】2236-1879（2017）21-0011-02
1 项目背景
专业建设必须符合办学思想指导并通过长期实践考验。高校专业建设的高度是学生专业技能发展的重要前提，决定个人专业发展和国家专业的人才储备。学校的资本和品牌一直和自身优秀专业息息相关。提高学生专业发展能力，重点是把握好专业建设的动向，以提升教学水平。
目前许多高校的各个部门如：行政部门和招生部门等多个部门都拥有自己的一套数据管理系统。这些系统数量繁多但功能都自立门户，信息之间没有经过整合。系统数据的分散，导致数据无法共享、数据参差，从而形成了高校内部的信息孤岛。
各部门的信息资源处于孤立分散状态，使得学校各部门的信息传递只能靠人工进行操作，导致数据信息错漏、数据丢失、数据重复、数据不完整性等情况。不利于高校各个部门的信息沟通，降低了学校的办事效率。
学校的领导和老师要从中的到有效的数据非常的困难，特别是进行重点专业建设和专业评估，需要相关的作证资料，要从不同部门的不同系统中抽取数据而且抽取的数据会有错漏、重复、版本不对等问题，大大降低学校的办事效率，降低了办事质量，影响专业建设進度。
2关键技术分析
2.1 大数据。
2.1.1 大数据整合。
（1）数据整合目的。
数据整合不是把进行移植。数据整合是需要预定一个数据规范标准，建设数据共享仓库，从高校整体层面出发的数据共享系统，做到书同文，车同轨。为高校所有服务提供整体的数据共享仓库和信息交流功能。
（2）划分数据焦点。
以高校各个系统的数据库为基础提取出共同的数据标准是划分数据焦点的前提。将高校现有的系统的共享数据按主旨和焦点的方式进行区分，形成与服务相关的焦点。例如收支方面为财务的数据焦点，财务管理系统有高校整体收支的基本信息，学籍系统有学生的学费信息，应将这类型的信息归入到财务焦点。同理，应将与教学关联的基本信息如：课程信息、考试信息等形成教学焦点。
（3）规范化接口。
本系统提供规范化接口，原有系统根据规范化接口接入企业服务总线，从而共享服务数据打破信息孤岛。
需要整合的系统通过调用规范化接口，与企业服务总线进行关联，数据经过清洗、过滤和排错等操作后存储同步到数据库。
2.1.2 大数据清洗 。
数据清洗是对不合要求的数据进行相对应的处理，再得到标准的、干净的、连续的数据。随着高校各个系统接入，需要对各系统的数据进行清洗从而获得准确有效的数据。数据清洗需要做到如下：
（1）检查数据一致性。
一致性检查是根据不同来源的不同指标，实际内涵是一样的，或是同一指标内涵不一致。例如在成绩表中的学生学号信息不存在与学生表中。发现不一致时，要列出：主键值、字段名称、错误信息等，便于进一步核对和纠正。
（2）无效值与缺失值的处理。
由于统计和录入误差，数据中会存在一定的无效数据与缺失数据，需要提供恰当的处理。普遍的处理方法有：估算，整例删除，变量删除和成对删除。
估算。根据数理统计的方式得到的结果代替无效值和缺失值。即使办法简单却很少完美考虑数据中存在的信息，发生误差的可能性很大。
整例删除是直接删除有缺失字段的数据元。由于很多挖掘到的数据都可能存在缺失值，会导致获取到的元数据非常少，无法最大限度利用已经收集到的数据。
变量删除。如果这一个数据元缺少的有效值非常多，而这一个数据元却没有重要意义的情况下可以删除
成对删除。用一些特别的字符象征无效的数据和缺失的数据，与此保留数据集中的全部数据元。
2.2 云计算 。
SaaS是一个软件许可和交付模式，功能与信息集中托管，同时为特定的用户提供特定的信息，用户使用过程中能感受到唯一的服务。
SaaS 有如下优势：
（1）技术难度低。SaaS 模式下的软件让高校教师立即使用软件而不需要进行对软件进行设置部署，只需要进行简单注册即可。高校不再需要相关运维工程师，降低运维成本。
（2）投资成本低。高校只需要投入月租的方式使用本软件不需要购买任何服务器。
在SaaS模式下，严格的安全策略对整个系统至关重要，本系统将使用如下措施解决安全问题：
（1）使用HTTPS为通讯过程提供数据保密及数据完整性。HTTPS能够建立一个信息安全通道。首先客户端向服务器发出加密请求，服务器用自身的私钥进行加密网页之后，与自己的数字证书发送给客户端。客户端会有一个"受信任的根证书颁发机构"的列表，然后客户端会以此表为依据判断解开数字证书的公钥是否在列表之内。如果数字证书是真实有效的，客户端就可用证书中的服务器公钥进行加密信息，再与服务器加密信息的交换。
（2）设计安全数据存储结构应用服务器相与数据库服务器分离，利用防火墙巩固安全。对数据库的关键字段进行加密存储，重点是学生和老师的个人信息以及高校财务数据必须通过加密的方式进行保护，保证数据安全性和保密性。
2.3 自定义表单 。
高校系统因需求的变化会添加或修改系统中的表单。自定义表单基于 AJAX 和 Bootstrap 架构，将大量的HTML字符串来构建表单的数据建模方法，实现表单结构的自定义，增加系统的数据韧性。 用户对组件进行拖拉，并将完善的表单组件从组件库中取出放到在线编辑界面上。最后生成表单 HTML 数据并通过 AJAX 以 JSON 数据的形式发送到后台。系统后台根据 JSON 数据生成数据表。AJAX 作为客户端与服务器之间异步通讯技术，能够减少消耗服务器的资源并允许用户与应用软件之间交互过程的异步进行，让用户得到更好的体验。管理员将设计好的表单发布给指定用户填写，待用户填好表单，将会生成特定的json数据，后台根据接收到的数据对数据库进行操作。
2.4 数据监控与预警。
学校需要对数据进行全方位的监控并得到必要的预警信号。本系统根据在SOA 架构中的企业服务总线加入全局的数据监控与预警服务。学校发出查阅相关数据统计的请求，数据监控服务将会被启动，把数据表中的相关主旨数据进行整合统计并反馈给用户。
高校领导根据严谨的数据监控，可为各部门制定出任务计划，并设置开始日期和结束日期。系统对数据进行检测，在任务长时间内没有完成，则触发预警，对应教师将会收到预警通知
3整体架构
在软件设计中，为了提高开发效率和系统稳定性，使用 ThinkPHP3.23 框架，数据库使用MySQL。同时包含大数据挖掘，云计算，数据检测模块。本系统基于SaaS（软件即服务）设计，高校各大系统可直接使用本系统的公有云，并依据规范化接口接入服务，提供私有云和公有云针对不同的客户需求。规范化接口起到对接作用，高校各个部门的管理系统，通过调用规范接口，与本系统的数据表进行关联与字段绑定从而获得本系统服务，为下一步数据整合提供数据基础。数据整合在用户调用规范接口，与用户的管理系统数据表进行关联绑定的基础上，对数据进行挖掘。数据清洗对挖掘得到的数据集进行清洗，通过数据双录入对比、数据合并、查找重复数据、查找缺失数据、查找异常数据。从而对重复数据、错漏数据进行过濾。最后进行数据同步，同步到数据库。云端用户向云系统发起请求查找服务，云系统根据查找对应服务并授权用户使用。图2为系统整体架构。
参考文献
[1]郑广成.一种SOA云服务平台架构研究与应用[A].上海.中国计算机应用与件.2011.228-231
[2]陶灵兵，陈燕兵.关勤.高校专业建设网络信息管理系统的研究和实现[A].上海.科技视界.2013.92-93
[3]李学俭，何文华.基于SOA架构的高校数据资源整合研究[A].西安.计算机技术与发展.2010.78-81
[4]孟龙梅.数据挖掘过程中数据清洗的研究[A].通化.通化师范学院学报（自然科学）.2015.7-10
[5]金珊，吴国芳.基于SaaS模式的SOA服务分析与设计[A].浙江.信息化建设.2009.115-118
[6]维基百科.数据清洗http：//wiki.mbalib.com/wiki/数据清洗