论文部分内容阅读
Web 2.0是一个历史性的时代转折点,伴随着各种网络媒体的高速发展,Internet用户不仅时时刻刻在利用这些海量的数据信息,而且也在不停地制造,由此便造成了互联网信息的急速增长。与此同时,因为用户的信息筛选能力有限,所以他们在面对错综复杂的Internet信息时经常毫无头绪,而推荐系统的出现为人们快速获取有效信息提供了可能。推荐系统根据用户的历史行为数据进行分析,并计算哪些内容是该用户可能感兴趣的,然后通过某种优化方式将最终的推荐结果信息展现给用户。由此看来,推荐系统更能适应如今大数据时代的快速发展。然而,传统的推荐技术在面临大数据时代带来的挑战时有点力不从心。Hadoop分布式平台和Mapreduce编程思想的结合是目前处理大数据计算的有效技术手段之一,分布式集群中的计算节点会并行地处理被MapReduce划分的各个子任务,从而提高系统对大数据的处理能力和计算速度。本文重点研究了推荐系统中常用的用户协同过滤推荐算法,并针对算法中欧氏距离相似度计算模型的不足,从用户共同评价数和时间衰减两个层面出发,提出了改进的欧氏距离相似度计算模型,并以MAE作为算法改进效果的衡量标准来验证改进的欧氏距离相似度算法在推荐准确度上优于传统算法。面对源数据集信息量大的问题,本文采用MapReduce编程思想对传统的用户协同过滤算法进行分布式改进,使之能够在不同的计算节点上同步计算,从而提高推荐系统的执行效率。通过设置不同计算节点、不同数据规模的对比实验,用真实而科学的实验数据验证了改进的并行算法在处理大数据计算时效率更高。最后,本文借助于Flask轻量级Web框架等技术对推荐系统进行设计与实现。