基于MPP-Hadoop混合架构高校数据集成系统研究

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:FuSoo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字化校园的建设,传统的数据集成系统在海量数据的环境下数据查询和加载的效率均有所下降,且难以融合非结构化、半结构化数据进行融合和分析,针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,结合Hadoop和MPP技术的优势,设计并实现了一个基于MPP-Hadoop混合框架的的高校异构数据集成的系统,融合多种不同结构数据,提升了数据查询和加载的效率。并以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据,载入MPP数据仓库,进行数据融合,并与传统数据仓库产品Oracle搭建的现有高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性并且为学生的学习生活、心理等各方面的管理工作提供一定程度上的技术支持和指导。
其他文献
农林生物质资源主要包括森林(竹林)和农作物秸秆,我国森林资源与发达国家相比,人均占有量低,木材和人造板产品的需求量与木材可供应量之间的矛盾长期存在。而我国丰富的农作物秸
<正> 曾经听过一个叫人高兴不起来的故事,说是在一个“参与式”校长培训班上,培训的主题是“如何转变教育观念,确立学生中心地位”。一位校长被要求回答的一个情境性题目是:
本文通过“展、探、练”特色课堂的开展探讨如何从根本上调动学生思维,通过提出展开、探究、练习的方式,引导学生进行自主思考,学会探究问题,使学生能积极参与到课堂学习,感
实验是提高学生全面科学素养的重中之重。学生获得知识、进一步知识创新的重要依据就是化学实验,实验教学是培育学生科学态度与化学学习的欲望、科学的训练学生、开展学生科
应成员图书馆的迫切需求,美国数字图书馆协会(ALA)数字内容及图书馆工作组密切配合ALA主席和秘书长,致力于向最大的--TOP6--出版商施加影响,使其以合理的价格向图书馆出售电子书。
十九大报告中指出全面建成小康社会,需要深刻理解精准扶贫的具体工程,本文提出了基于大数据分析技术的精准扶贫机制,通过利用大数据技术Web Spider搜集相关数据,对原始数据进
随着时代的发展,我国中学阶段的德育教学工作也出现了新变化,法治教育的重要性越来越突出,道德与法治课程的授课教师就应结合教育部发布的课程标准,按照新课标的要求,积极实
本文以2019年全国课标卷为例,分析核心素养在高考卷中的考查方式,对教师的教学和高考备考都有重要的指导意义。
随着我国音乐交流的逐渐增多,长笛的艺术展示得到一定的推广,我国长笛演奏逐渐在国际上赢得了知名度。高校的长笛教学也在社会发展的需求和长笛艺术蓬勃发展的推动下实施改革
云募资平台Unglue.it于5月17日正式发布,它是为鼓励作者和出版商依据创作共用协议提供电子书的使用而设计,支持来自MichaelLaser、JosephNassise、NancyRawles、启蒙读物(Budding