基于Storm的分布式在线推荐系统

来源 :浙江大学 | 被引量 : 0次 | 上传用户:wanglinux_0208
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字图书馆作为知识和信息的重要载体,受到世界各国的关注。随着数字图书馆中资源规模的不断扩大,如何快速获取用户需要的资源成为一大难题,而个性化推荐是解决这一问题的重要方法。数字图书馆的用户行为构成流式数据,处理流式数据时算法必须具备高性能和实时性,此时传统的协同过滤推荐算法已无法胜任。本文主要研究个性化推荐技术,并提出一种基于矩阵分解的分布式在线推荐算法。该算法能够实时处理流式数据,及时为用户推荐感兴趣的书籍。  本文主要工作如下:  第一、设计并构建日志收集系统,用于收集CADAL阅读平台中多种服务所产生的流式数据,集中化处理系统日志,并为推荐系统提供数据来源。  第二、利用Storm分布式实时计算系统和数据分块技术,实现一个分布式随机梯度下降算法用于在线推荐系统。实验显示,该算法在保证推荐效果的前提下,能够显著提高数据处理能力,提升计算性能。  第三、通过计算物品相似度并利用用户历史阅读记录确定候选推荐集,并根据矩阵分解模块的训练结果对候选推荐集进行排序得到最终推荐列表,为用户进行在线推荐。
其他文献
随着信息时代的发展,Web应用正朝着多用户多角色协同的方向发展。在协同Web开发以及使用过程中存在异常,异常的出现不仅降低用户满意度,而且增加开发维护人员维护系统的难度
射频识别RFID(Radio Frequency Identification)是一种利用无线射频信号进行通信的非接触自动识别技术,它具有快速高效、可靠和不需要物理接触等优点,目前广泛应用于动物识别
在单核处理器时代,随着大规模集成电路技术和半导体技术的快速发展,处理器的频率和集成度的不断提高,这不但使得单芯片单核处理器的功耗剧增,而且使得其设计更加复杂。近年来
RoboCup,机器人足球世界杯,是一个国际性的综合赛事,其中的2D项目提出了一个复杂的实时多主体环境下的智能体决策问题。当前人工智能正处在由“单主体静态可预测环境中的问题
网络图是指由网页及网页之间的链接关系组成的图,通过研究网页间的链接关系,抽取有用的信息,多用于爬虫算法,搜索和社区发现等方面。但在应用网络图时,最主要的问题是网络图
异常检测是指发现系统或用户偏离常规的行为,在信用卡欺诈、网络入侵、系统故障检测等方面有着广泛的应用。异常检测通常将正常的行为特征存储在数据库中,然后将当前行为特征
近年来,卷积神经网络(CNNs)因其高推断精度和强自适应性而被广泛应用于各种领域,例如:计算机视觉、语音识别等。另一方面,移动手机当前已经成为人类日常生活中的随身携带之物,并
物联网是二十一世纪建立智慧地球的重要内容,并吸引了广大研究人员的注意力。物联网致力于连接所有人类可以触及使用的对象设备,并将相关的信息纳入到人类可使用可控制的范围
尽管电动汽车市场增长迅速,但由于电动汽车电池容量有限和充电不便,大众仍然普遍担心电动汽车的用户体验。现有的与电动汽车服务相关的研究工作大多都假定所需的数据是已知的
随着在线社交网络的逐渐兴起,越来越多的互联网用户开始广泛通过在线社交网络发布信息、传递资源和维护各种社会关系。由于在线社交网络的参与群体和内容形式的多样性,网络资