基于大数据技术的 智慧校园数据服务平台设计与实现

来源 :求知导刊 | 被引量 : 0次 | 上传用户:dawnsun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:文章针对国内目前高校智慧化校园中存在的信息数据处理问题,运用新兴大数据技术,设计开发智慧校园中的数据服务平台,着力解决各高校信息孤岛问题,通过对高校各系统数据的整合、分析、挖掘,为高校提供精准的辅助决策数据和分析报告,主要包括海量、多样的高校大数据的采集、清洗、计算与分析,海量高校大数据的动态图表与可视化报告以及通过人工智能手段进行数据挖掘等功能。
  关键词:大数据技术;智慧校园;数据服务平台
  一、平台的设计与实现
  為了解决传统手段难以满足高校对信息化辅助管理决策的新需求,数据处理和存储效率低下及建设门槛和成本高的问题,平台先利用流式架构整合智慧校园中的各类关系型和非关系型数据,研究多种异构数据源数据的统一采集、汇聚和存储及快速访问。在此基础上结合校园业务应用场景,利用机器学习框架,构建特征模型,对数据进行监督和非监督训练,确定其间的关联关系并作出预测判断。实现对学校内所有数据资源的统一、科学的组织与管理,提高数据质量,释放数据价值。
  1.设计目标
  本平台以智慧校园为基础,利用流式数据处理、机器学习分析等大数据技术,高效地收集整合高校各方面所产生数据,从其中提取出有价值的信息和模型,推动高校教育的全面创新,是根本目的。本平台的设计开发目标有以下三点:①针对异构且更新频次不一的数据源构建统一的数据采集平台。②针对使用要求不一的数据构建统一的分布式数据存储服务平台,提供统一的数据接口。③结合智慧校园的业务场景应用,利用机器学习技术,挖掘数据的新价值。
  2.平台架构
  平台系统整体架构包括大数据处理、数据挖掘、硬件环境、客户端等四个部分。其中大数据部分构成整个平台的基础,硬件和软件系统构成平台的容器,客户端是平台的出口。
  (1)业务架构。在集群硬件环境支持下,利用微服务架构加上SpringCloud技术以及docker+kubernetes等技术实现一键布署。各微服务支撑高校大数据的所有业务场景、功能以及展示、报表所需要的资源;微服务通过Restful WebAPI实现与客户终端的连接,微服务以这种接口形式实现服务与客户端的分离,从而可以灵活地实现多终端的接入以及为第三方提供服务能力。如SpringCloud为微服务提供安全、熔断、负载均衡、治理等能力。
  (2)技术架构。本次系统平台技术框架设计从数据采集到数据处理、分析、计算,使用hadoop技术栈中大部分技术。可以采集从结构化到非结构化数据以及syslog 、消息队列等,几乎涵盖了目前行业内的大多数数据类型。能够处理离线和实时流数据,数据量可达TB级别,实时处理千万条数据可达到秒级或亚秒级,且所用设备量较少。
  二、平台建设的意义及价值
  1.实践意义
  本平台设计是以高校信息化建设纲要及大数据发展行动纲要为依据进行创新性探索,主要实践意义有三点:运用新兴技术,全面推进高校发展;建立有效的数据处理通道,推动业务融合;充分释放数据价值,探索业务规律。
  2.理论价值
  本平台实现的理论价值有建立新的数据处理方式:根据高校数据的特点,设计节省存储空间、查询效率高的数据处理机制。建立新的智慧模型:通过对普通高校大量数据和应用需求的分析和实践探索,建立可推广的模型。推动管理理论的变革:将大数据技术应用于教学管理实践过程中,在提高管理决策科学性的同时,推动学校管理理念的变革,进一步提高管理水平,提升学校的综合竞争力。
  本次智慧校园数据服务平台依据现阶段高校数据计算特点,重点着力于“智慧”应用,充分运用当前新兴的大数据技术,探索出一套“存储—计算—挖掘”一体化的高校大数据框架。目前整套平台实现运行,在海量数据中获取价值,产生“智慧”,进而推动决策层向数据决策化发展,为未来高校的发展探索出一条新的道路。
  参考文献:
  [1]叶晓斌.提高高校教育教学管理信息化水平的思路探索[J].时代教育,2017(9):240.
  [2]杜 渂,张嘉成.消防大数据分析服务平台架构设计研究[J].电信快报,2017(8):24-28.
其他文献
对话妈妈狐狸和乌鸦的故事小朋友们都听过,狡猾的狐狸一次又一次骗到了乌鸦嘴里的肉.在今天的游戏中,狐狸可不一定赢得过乌鸦啦!请宝宝跟着音乐听一听、演一演,享受在音乐中
从理论上讲,幼儿园课程是幼儿园教育中最重要、最繁难、最易被误解的教育问题之一.幼儿园课程课程目标、内容、方法和评价的一个系统,是教育思想、教育理论转化为幼儿教育实
摘 要:互联网与创新创业的结合发展是主流。双创即创新创业,就如一把“双刃剑”,机遇与挑战并存。“互联网+”时代为新时代大学生提供多元化的双创机会和更广阔的双创平台,使双创的门槛降低。但是,对双创主体的能力要求提高,竞争弱势下成果的存活率不高,政策支持和监督还不完善。紧抓机遇,深化“互联网+”大学生双创新发展,需要做好大学生双创的服务工作,提供大学生双创“指路人”,拓宽大学生双创项目的孵化平台和基地
摘 要:“在我们短促而又漫长的一生中,我们在苦苦地寻找人生的幸福,可幸福往往又与我们失之交臂。当我们为此而耗尽宝贵的青春年华,皱纹也悄悄地爬上了眼角的时候,我们或许才能稍稍懂得生活实际上意味着什么。”这是路遥的《平凡的世界》里写到的,面对人生,很多人倒在了盲目追求幸福的路上。从当下看,大学生的幸福观至关重要,而书中体现出来的那种艰苦奋斗、勇于担当的人生态度是当代大学生不可或缺的,文章就此展开了论述
在工作实践中,青年教师在经常需要总结反思自己的教育行为,撰写教育文章.无论是教育随笔、案例、论文,还是个人课题,青年教师写起来都非常困难,“写文章”这件事已成为阻碍青
在供给侧改革的大环境下,高职高专的护理教育需要与时俱进,为国家输出更多高素质的护理技能型人才.在护理教学方面,也要不断更新,文章以《内科护理》教材中的“心力衰竭病人
本文通过对担保公司和普通企业的经营形式、负债结构、资产结构等特征进行比较,分析及评价市场价值法和收益现值法在担保公司股权价值评估中的局限性,并以此为基础探讨商誉及