基于Hadoop的推荐系统研究与应用

来源 :华北电力大学 | 被引量 : 0次 | 上传用户:wangyongzhi59
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的日益发展,手机、平板电脑等智能终端的出现,人们在工作和生活中越来越依赖网络,同时也产生大量的数据文件,对于如此海量的数据,加之用户有时不能清晰的表达查询意图,使得用户很难快速、准确的找出所需要的信息,为此学者们进行了许多相关的研究,其中有效的技术方案主要包括搜索引擎中的查询推荐算法和基于偏好的推荐系统。查询推荐算法通过构造一组与原查询词相关的查询词帮助用户明确查询意图。推荐系统以用户行为、偏好作为依据,主动为用户推荐符合其偏好的信息。由于用户数量、数据规模的快速增长,而传统推荐算法以单机运行为主,计算复杂度普遍较高,计算难度大,已经不能满足海量数据推荐计算的需求,产生了推荐时间缓慢、准确率下降等一系列问题。为了更好的解决推荐算法的可扩展性、准确性问题,本文在深入研究HDFS分布式系统和MapReduce编程思想的基础上,针对近年来提出的网络推荐算法,分别提出了查询推荐算法和基于偏好的协同过滤推荐算法在MapReduce编程模型下的分布式并行化算法,并设计和实现了一个基于Hadoop的电影推荐原型系统。主要工作内容如下:首先,介绍了推荐算法和云计算方面国内外的研究现状,然后重点阐述了推荐系统及主流协同过滤算法,具体分析了Hadoop相关技术,为基于Hadoop的并行化算法提供了理论依据。然后,针对搜索引擎中的查询推荐算法,提出了基于Hadoop的最小生成树聚类算法来实现查询推荐,通过一系列测试和结果分析验证了算法在集群上具有良好的并行性和扩展性。在基于偏好的推荐系统方面,提出了基于奇异值分解的协同过滤算法并行化改进与优化方案,通过实验证明改进方法可以进一步提高算法的效率和准确率。最后,在MovieLens数据集基础上,结合本文提出的分布式推荐算法,设计、实现和部署了基于Hadoop的电影推荐原型系统,通过测试系统能够正常运行和使用,充分体现了云计算与推荐算法结合的优势。
其他文献
为从视频图像序列中准确且完整地提取运动目标,提出一种基于运动差分直方图的目标提取算法。通过对视频图像序列中两帧相邻图像以及它们的差分图像进行逐次分块,分析对应分块的差分直方图,利用背景区域块与目标区域块对应的差分直方图分布不同,逐步去除背景提取目标,有效避免提取的目标内部出现空洞,以块为单位的处理提高算法运行速度。通过数值实验验证了该算法具有较好检测性。
在当前的通信和互联网领域中,万物互联已经成为了科技发展的必然趋势,然而,人们各样需求的多样化所带来的数据量急速增长,与当前的通信技术的发展产生了不同步的现象。为了使
针对群体仿真中大量粒子的运动路径评价中存在评价速度慢、准确率低、缺乏依据特征等不足,提出基于决策树算法的路径自动评价模型。在群体粒子自动聚集过程中,通过分析,提取出影
期刊
期刊
日本在吸收中国文化的同时,注重与本土文化的融合。本文围绕中国古代传统民俗节日之一的七夕节的内涵、七夕文化与日本固有信仰的结合及在日本的传承与发展,从一个侧面揭示了
为了对各类网络安全设备所产生的安全事件进行有效管理,设计和实现了一个分布式安全事件管理系统Dis-SEM,并提出数据解码技术和安全事件分析关键技术对。数据解码技术主要对安
农民工子弟学校在补充城市公办小学容量不足方面的作用毋庸置疑。本文通过对上海一位农民工子弟学校筹办人的采访,更直观地认识到现阶段农民工子弟学校存在的价值,以及他们办
对两两组合测试用例生成算法进行研究,在AETG算法的基础上进行改进,主要改进了AETG算法的参数排序过程。计算每个参数当前在未覆盖配对集中出现的次数,综合考虑其整体出现的
为解决超声检测领域传统人工神经网络方法对于小样本进行缺陷识别时存在的泛化能力差和过学习等问题,提出了一种基于支持向量机的超声检测缺陷识别方法。先使用小波分解对信号