基于大数据的协同过滤推荐算法研究

来源 :南京农业大学 | 被引量 : 0次 | 上传用户:zx20060522
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术、网络技术的快速发展,电商网站、社交门户以及医疗、教育、公共平台等领域的智能化应用等信息时代产物已深入人们的日常生活,影响了人们的行为习惯和思维方式;同时,随之产生的海量数据也将人们置身于信息爆炸的大数据时代。为了缓解大数据带来的信息盲目性,兴趣信息的难获取问题,个性化推荐成为过滤无关信息的有效手段。协同过滤是目前推荐服务中应用最成功的技术之一,该算法仅依赖于用户对项目的评分,与用户、项目的本身属性无关,能够跨领域运作,具有良好的通用性。然而,大数据时代的来临,加剧了评分矩阵的稀疏性,负面影响推荐效果。在此背景下,本文引入平均相似度的概念,综合用户、项目,提出了改进算法ASUCF,并通过实验验证改进算法的预测准确度。同时,面对大数据,如何快速有效地实现它们的并行化处理,也成为了学术界研究的一个热点。目前,对于并行计算的处理框架有很多种,而Google公司提出的云计算概念和MapReduce并行框架以其可扩展和高易用性,在大数据处理中得到了广泛的应用。Hadoop作为开源的云计算平台,实现了Google云计算的功能,被研究者们广泛使用。本文在结合推荐技术以及云计算技术的基础上,提出并设计了改进的协同过滤算法ASUCF及其MapReduce并行处理,从准确度和计算效率上提高个性化推荐服务的质量。本文的研究工作主要如下:(1)研究了常见推荐技术的原理、计算步骤、特点以及应用举例,着重分析协同过滤技术的算法思想、推荐步骤、常用检验标准以及协同过滤的分类,Memory-based CF和Model-based CF的推荐过程、特点以及大数据环境下推荐系统的所处层面等。(2)针对CF技术依赖的评分矩阵稀疏性问题,引入平均相似度概念,提出综合用户、项目的ASUCF算法,分析其计算方法,并通过实验设计,验证ASUCF算法在准确度上的提高。(3)结合云计算开源平台Hadoop中的MapReduce编程框架,分析ASUCF算法的并行化过程。(4)针对计算效率问题,结合Hadoop平台,研究Mahout中Taste推荐引擎,设计出适应MapReduce编程模型的ASUCF算法过程,并通过实验设计,验证计算效率的提高。
其他文献
现今,P2P(对等)网络变得越来越流行,其中大多数应用都基于非结构化P2P网络。而另一方面,Internet中数据内容爆炸性增长使人们对于网络存储系统提出了更高的要求。因此,相对于非结构
本文探讨了移动社交网络的结构特征和网络特性,基于复杂网络理论提出了一种基于组增长的无标度网络模型,根据移动社交网络中用户和设备之间不同的依赖支持关系构建了两种不同
目前在 Linux 操作系统下有一瓶颈链路定位工具 path neck,该工具是基于回归数据包队列算法的主动探测工具。本文通过分析该工具的源码,并用 Delphi 将重新编码移植到 Windows
近十几年来,“信息与系统集成”是IT行业中使用最多的词汇之一。信息技术已经成为计算机应用技术的一个重要领域,而信息与系统集成技术则是信息技术的重要方面,是信息化应用
随着Web技术的飞速发展,网络已经成为现代人不可或缺的一种交流方式。分布式对象技术和多媒体技术的不断发展和结合给人们提供了新一代通信手段,为跨地区的人们提供一个相互交
随着移动通讯技术的不断发展,具有彩色液晶屏幕并支持BREW程序的手机已经出现并且开始被人们所认识和接受,这样使用BREW技术开发的手机增值应用服务也将会越来越多。由于目前在
Web服务是自包含的、模块化的应用,具有开放的,面向Internet和基于标准的接口。它能较好的解决异构应用之间、松散耦合环境下的互操作、集成和协作问题。但是,单个的Web服务功能
无线传感器网络是一种全新的信息获取和处理技术,在军事、环境、医学、空间探索以及工业、民用和家庭网络等领域具有广泛的应用前景。因此,无线传感器网络技术被称为 21 世纪最
本论文针对国内外电子商务网站的商业运营与推广效果评估需要,研究能够持续提升网站经营利润的访客行为分析系统的结构与构建过程。通过使用该系统,电子商务网站的经营分析决策
嵌入式系统的广泛应用需要良好的软件系统支撑。随着嵌入式系统的深入发展,系统的动态可扩展能力已经成为一个基本的需求,迫切需要一种机制能在运行状态下配置系统,也就是系