论文部分内容阅读
随着计算机技术和互联网技术的发展和广泛应用,人们在各项活动中产生了大量数据,通过对这些数据进行分析和处理,可以发现数据之间的关系,从而帮助人们在社会活动中指导或制定某种决策。关联规则是数据挖掘最先研究的问题之一,Apriori算法作为关联规则最经典的算法,被广泛研究和应用于各种场景,但是由于该算法需要频繁访问数据库,且支持度-置信度衡量标准所产生规则具有冗余性,算法的时间效率和信息的准确性较低。本文就是在Apriori算法的研究基础上,主要从降低算法时间和提高关联规则准确性方面对其进行改进。在时间效率方面,改进算法主要通过减少事务数据库的扫描次数和事务的扫描数目两个方面进行优化。为了减少数据库中扫描的事务数量,改进算法抛弃了Apriori算法每次统计某个频繁项集的支持数都去扫描事务数据库的做法,而是在内存中维护一张Map表用来记录频繁项集所在的事务ID号的集合,每次统计频繁项集的支持数即为求组成该项集的两个子项集的交集。为减少事务数据库的扫描次数,可以将事务数据库拆分为几个不相交的部分,依次扫描每个分区的事务得到局部频繁项集,组合所有的局部频繁项集为候选频繁项集,通过再次扫描数据库得到频繁项集。为提高所获得信息的准确性,在生成关联规则过程中,改进算法增加了相关度和有效度作为衡量标准,而不再仅仅依靠支持度-置信度的单一衡量标准。根据置信度的计算方式,得出推论:通过对一个关联规则进行某种形式的变形,得出的关联规则必定为强关联规则,而该项规则并不是用户所感兴趣的,需要进行舍弃。根据这个推论,对算法进行更进层次的改进。通过对传统的Apriori算法、AprioriTid算法和改进的算法进行对比,验证了改进算法在时间效率和信息准确性的优越性。最后将改进算法应用在学生成绩分析中,通过对学生成绩进行预处理,利用改进的算法挖掘学生成绩之间的关联规则,分析并解释关联规则的结果。利用产生的规则可以对学生进行预警,使学生明确以后的学习任务,同时帮助教学人员合理制定培养计划,提高教学质量,关联规则在高校成绩中的应用具有很好的现实意义。