【摘 要】
：
对校园大数据分析是校园信息化发展的新思路。Hadoop是Apache基金会开发的分布式系统基础架构,它是集分布式计算、存储和管理为一体的生态系统。目前流行的Spark框架是与Hado
【基金项目】
：
江阴职业技术学院课题“基于Spark的大数据处理平台的构建及研究”(17E-JS-25);江苏省软件与服务外包实训基地子课题“基于Spark的大数据体验系统的创新应用实践”(2017-PPZY-A-R-19)
论文部分内容阅读
对校园大数据分析是校园信息化发展的新思路。Hadoop是Apache基金会开发的分布式系统基础架构,它是集分布式计算、存储和管理为一体的生态系统。目前流行的Spark框架是与Hadoop生态系统中的MapReduce类似的一个分布式计算平台,Spark比MapReduce的速度更快且提供的功能更丰富。本文以数据采集、数据存储、数据分析、数据展现为主线,结合大数据领域最流行的Hadoop框架与Spark框架提出了高校校园大数据平台架构,详细阐述了架构各层次的具体功能,并对架构中关系数据库数据的采集存储进行了详细介绍,最后设计校园大数据分析原型系统来验证架构的可行性。
其他文献
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
目的:检测血清中降钙素原(PCT)、C反应蛋白(CRP)在重症急性胰腺炎(SAP)并发细菌感染中诊断价值。方法:收治住院SAP并发细菌感染患者78例为感染组,选择住院胰腺炎未检出细菌患
本研究以农业废弃物棉花秸秆为原材料制备生物质炭和改性生物炭,将其应用于水体中PPCPs污染物氧氟沙星(Ofloxacine,OFL)和布洛芬(Ibuprofen,IBU)的去除。运用扫描电镜(Scanning electron microscope,SEM)、比表面及孔径分析仪(Brunauer emmett teller,BET)、红外光谱(Fourier Transform infrared
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
目的：检测乳腺增生症患者病变组织中性激素受体表达情况，探讨其发病机制及其与临床治疗的相关性。方法：经病理诊断的39例乳腺增生症女性患者（小叶增生6例，乳腺腺病10例，囊性增生6例
目的 探索后腹腔镜切开取石手术的临床可行性。方法 选取我院2010年4月-2016年4月收治的50例输尿管上段结石患者作为此次研究对象,对患者进行分组,分为观察组患者（25例;后腹腔
传播学理论认为，传播按照过程可分为自身传播、人际传播、组织传播和大众传播。除了大众传播是必须通过媒体来进行的，其他三类都是无需媒体也可实现的传播。随着大众传媒的蓬勃
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
互文性理论,旨在阐述特定文本与其他相关文本间的相互影响和联系。自该理论提出以来,已被广泛应用到文学批评、翻译和语篇分析中。文章通过大量实例,着重探讨了在中文广告语