论文部分内容阅读
校园大数据分析是目前大数据研究的重要领域,针对快速积累的高校学生考勤数据,传统的数据库技术以及数据分析手段已经不再适用,串行的计算方法很难在短时间内对大量的考勤数据给出分析结果,本文提出了一种基于Spark平台及相关技术进行考勤数据分析的方法。文中详细描述了数据并行处理的流程以及采用FPGrowth算法进行关联规则分析的方法,分析得到了学生课堂出勤率与课程安排的关联规则。并且比较了传统数据库技术与并行数据处理方式进行学生考勤数据分析的效率,该方法取得了较好的效果。