基于大数据的动态推荐技术的研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:klwxm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和电子商务的发展,个性化推荐技术逐渐成为一种新型的内容提供方式,得到越来越多研究者的关注。目前,几乎所有大型电子商务系统、网络流媒体等都在使用各种形式的推荐系统,它的出现有效的解决了用户如何从海量数据中获取相关信息这一难题。然而,用户在不同的时间段会有不同的兴趣,随时间而变化,如何通过捕捉用户的兴趣变化来提高推荐质量成为了当今推荐系统的挑战;同时由于信息爆炸产生的大量数据已经超出了单机环境的处理极限,系统的可扩展性面临巨大压力。为了解决时间因素带来的影响,本文提出了用户与项目之间的关联度随时间动态改变的相似度计算方法,并结合聚类算法充分挖掘用户的兴趣;同时为提高推荐效率,解决系统扩展性问题,提出了基于大数据架构的分布式解决方案,以理论研究为基础,从推荐系统架构的角度,设计了能根据实时获取用户行为信息并动态更新用户兴趣模型的推荐系统架构。  本研究主要内容包括:⑴在技术综述中首先对推荐系统及相关的推荐算法进行简要分析;然后研究了Lambda大数据架构,Hadoop分布式处理框架以及Storm流式处理框架。对于Hadoop框架着重分析了HDFS,MapReduce这两个组件,了解了它们的运行机制以及分布式编程原理,为后续工作奠定了基础。⑵研究了基于聚类和时间因素的动态推荐算法。利用用户行为数据中的时间信息对传统推荐算法中进行改进,提出新的相似度计算方法;同时引入聚类算法,充分挖掘用户的兴趣,提高推荐准确率。⑶针对单机环境下处理海量数据效率低下的问题,提出基于分布式处理框架的解决方案;同时针对推荐系统实时性比较低的问题,采用基于内存的流式处理框架。⑷将动态推荐算法并行化,实现了基于大数据的动态推荐系统。实验结果验证了该系统在可扩展性以及实时性方面的性能。
其他文献
在计算机网络迅猛发展的今天,网络入侵成的危害性越来越大。入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措施后的又一种新的安全保障技术,它用于计算机和网络资
本论文围绕着基于图像的虚拟现实这个课题,对基于图像和基于图形方法进行了研究和讨论,并深入研究了基于图像绘制的方法。 本文在总结、分析前人工作的基础之上,提出了一个实
时间序列预测是动态数据分析处理的一个重要方面,在科学、经济、工程等许多应用中都存在着在历史数据的基础上预测未来的问题。面对自然和社会经济现象中大量存在的非线性、非
今天,企业业务越来越依赖于各种各样的应用系统。而如何快速、有效的使多种不同的应用系统协同工作,把各个信息孤岛和隔离的业务单元联系在一起,就给企业和IT界带来了一个新
空间co-location模式代表的是一组空间对象,它们的实例在空间中频繁的关联。空间co-location模式挖掘是空间数据挖掘的一个重要研究方向,在现实生活中有着十分广泛的应用。人
在数学教学中,既要注重基础知识的传授,又要注重学生能力的培养,即寓双基教学和能力培养于一个统一的教学过程中。这个观点,现在已被广大数学教师所接受,并贯彻于各自的教学
该文对可视化分析包含的关键技术进行了系统的阐述,同时提出了一些可视化方法.具体工作如下:1)总结了可视化分析技术的基本概念、主要内容和发展趋势,在此基础上提出了可视化
随着VLSI芯片集成度的不断提高,其设计的复杂度和规模亦不断增大,迫切需要研究一种高效快速的并行功能模拟验证工具,并对VHDL描述的电路设计进行模拟。本文以此为背景,对由VHDL描
随着社会的不断进步,以及计算机技术的蓬勃发展,计算机虚拟生物应运而生,且已成为目前计算机技术研究中的一项尤为重要的课题。为了使虚拟生物模型具有较高的真实度,并保证虚拟生
服务质量、安全和可靠是商业通信的基本要求。VPN作为对传统专线模式的替代,必须提供对这三项要求的支持。目前,国内外关于虚拟专用网的安全机制和可靠性的研究较为成熟,而关于