论文部分内容阅读
随着互联网的飞速发展,近年来电子商务得到了迅猛发展,交易数据激剧增加,即使采用目前最有效的Hadoop、Spark等数据处理技术也仍然存在不少问题,例如一些在评测集上效果好的数据挖掘算法,或者难以实现,或者用于真实交易数据难以获得理想效果。探索面向真实应用的大数据处理方法是目前急需解决的课题。本文先对推荐系统的基本原理做了简要介绍,并对当前应用最为广泛的基于项目的协同过滤(Item-Based Collaborative Filtering,IBCF)算法作了深入的分析。然后,介绍了均模型对数据压缩的基本原理,并面向协同过滤推荐算法对均模型进行了较为系统的研究。最后,通过实验验证了基于均模型的IBCF算法在MapReduce框架下的运行效果。具体来说,主要完成了如下四方面内容:(1)协同过滤推荐算法评测研究通过对协同过滤推荐算法的分析,发现计算任务主要集中在项目相似性计算阶段,接着对各种项目相似性计算方法进行了评测,同时指出余弦相似性计算方法精度最高。而后对推荐算法的不同评价指标进行了评测研究,分析了各个评价指标的评估价值。(2)均模型及其改进研究在本课题组对均模型的前期研究基础上,对均模型的基本原理与性质进行了分析总结,并指出了原均模型对数据的处理存在分层模糊和信息失真的缺点。针对以上不足,提出了一种改进的均模型。改进的均模型在数据压缩过程中,更好的体现了分层的思想,克服了信息失真问题。在应用于IBCF算法的实验当中,改进的均模型有更理想的效果。(3)均模型的增量扩展研究互联网中的数据每天都在不断地增长,各类数据应用系统必须不断融入新增数据以保证系统的服务质量。例如推荐系统中每天都会有大量的新增数据产生,推荐系统必须及时将新增数据加入运算,从而保证推荐质量。本文以IBCF算法为应用背景,针对均模型的增量更新问题,提出了一种基于增量均模型的实现算法(Incremental Mean Model,Incremental MM)。Incremental MM通过项目评分预统计为各项目建立评分统计映射表,较好地支持了均模型的增量转换。在Movie Lens数据集上的对比实验结果表明,基于Incremental MM的IBCF算法增量更新效率较高,且推荐精度没有损失。(4)基于均模型IBCF算法的并行化实现为评估均模型在大数据处理上的应用效果,本文基于MapReduce框架设计了基于均模型的IBCF算法,并基于Netflix数据集,在Hadoop集群上进行了实验。实验结果表明,增量均模型能够在较大规模的数据处理过程中取得较好的应用效果。