基于storm新闻推荐系统的研究与实现

被引量 : 0次 | 上传用户:luoxingrobin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前随着互联网的进一步发展,以及移动设备近几年的崛起,2015年全球网民有望突破30亿,已经将互联网推进大数据时代,同时互联网上的各种信息也极其膨胀和冗余,个性化推荐在大数据时代显得尤其重要。通过大数据的计算,个性化推荐能够智能地为用户推荐用户所感兴趣的内容,让人们从海量数据的迷茫中解脱出来。目前新闻推荐系统推荐算法大多基于协同过滤、基于内容的推荐算法。但是又面临着协同过滤的缺点,数据的稀疏性问题和冷启动的缺陷。基于新闻的属性,本文在利用协同过滤算法的同时,结合TF-IDF(词频-逆文档频率)算法在内容处理上优势,以及权重的设置,提出了一个新闻个性化推荐系统的设计思路与解决方案。本文的主要工作包括:1)基于协同过滤推荐除了将用户访问列表、新闻条目的访问列表作为相似度的度量外,还加入了新闻关键字,新闻类别作为相似度的计算之中,同时根据新闻发表时间,适当调整推荐项目推荐值,使推荐结果更加符合用户的浏览行为。2)基于内容推荐新闻内容包括新闻类别、新闻分词后的关键字。在基于新闻类别的推荐中,用户浏览的各个类别的新闻数量与用户的兴趣是正相关的。在统计一个用户足够多的浏览记录之后,可以得出用户在每个新闻类别上浏览的新闻数量,这个数量可以认为是用户对每个新闻类别的兴趣值。在基于新闻关键字的推荐中,通过统计用户浏览历史中的新闻中关键字,将这些新闻关键字聚合起来作为用户的关键字。在推荐的后台数据库,根据TF-IDF算法利用这些关键字为每条新闻评分,推荐集合按照评分的高低降序排列。实验结果证明:将基于协同过滤算法的新闻推荐值与基于内容推荐算法的新闻推荐值相加,并作为每条新闻的最终推荐值的混合推荐方式能够有效提高推荐效果。为了加快推荐算法的速度,整个推荐过程是以storm为核心,将新闻库的信息、Map Reduce离线计算结果都保存在内存数据库中,storm根据内存中的用户数据、新闻数据做实时推荐。
其他文献
房地产项目的成本控制包含许多方面,对项目的每个的成本做到监控与管理,可以在极大程度上提高整体施工工程过程中的资金利用率,对企业的利益发挥积极作用。因此,全方位地加强
文化是旅游的灵魂,旅游是文化的载体。"十二五"时期,文化产业作为"国民经济支柱性产业",与同样作为"战略性支柱产业"的旅游业将有越来越多的融合发展。旅游文化产业核心竞争
本文提出《背影》成为散文精品的原因 ,不仅仅在于深刻的“背影”形象 ,更在于文章深藏着美的意蕴 ,并从审父意识下的人性美的自然流露、崇高和优美的完美统一、结构美和语言
职业技能大赛是学生职业综合素质的体现,同时反映了各个学校专业办学能力水平。通过技能大赛,把在校学生学习到的专业知识与技能,以熟、快、准的形式展示出来。学生通过参加
以榆绥高速公路青云村大桥下伏采空区为例,在稳定性评价的基础上,从桥梁结构和采空区处理2方面探讨治理方案。对各方案技术、经济等进行对比,认为注浆治理方案最优,故确定采
春冬季节,小儿呼吸系统疾病成为医院儿科的常见病,占医院儿科病的90%以上,直接影响儿童身心健康和家庭幸福,因此,对小儿呼吸系统疾病护理成为有子家庭的关注焦点,本文从小儿
事业单位预算是单位为了实现既定的目标,通过内部控制、编制预算和考核绩效等进行的许多财务管理的活动,贯穿着整个事业单位预算管理的全过程,其预算管理的质量直接影响到事
采用X射线粉晶衍射(XRD)、X射线荧光光谱(XRF)、激光拉曼光谱和紫外可见吸收光谱等方法,对产自缅甸翡翠矿区的一种类似于绿辉石质翡翠的墨绿色玉石品种进行了化学成分、矿物
预算管理是行政事业单位财务管理的核心内容,是会计管理工作的基本依据。行政事业单位通过预算管理完成各项目标的评估预测以及组织实施,从而促进绩效目标的实现和工作业绩的
以正硅酸乙酯为原料,采用溶胶-凝胶法,结合旋转涂胶、超临界干燥工艺在硅片上制备了纳米多孔SiO2薄膜。XRD表明薄膜为无定形态;SEM显示薄膜具有多孔网络结构,其SiO2粒子直径