基于隐性反馈的分布式推荐算法设计与实现

来源 :天津大学 | 被引量 : 0次 | 上传用户:jjdoris1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网快速发展,信息产生的渠道越来越多,信息产生的速度越来越快,这导致信息整体呈现爆炸式增长。推荐系统根据用户的历史行为信息,挖掘用户的潜在兴趣,快速帮助用户从海量信息中获取其自身所需的信息,其已经成为解决信息过载的有效方法。另外,随着数据量的急剧增大,单一计算单元的计算效率有限,导致推荐过程的实际计算时间过长,成为限制推荐效果的主要瓶颈。因此,海量数据对推荐系统的实现提出了新要求。本文重点研究了处理推荐系统冷启动问题与采用分布式计算解决系统运行效率的问题。本文主要针对只可获得用户对商品的评价,没有用户和商品的上下文信息的情况,解决冷启动难题。大部分已有研究通常先构建用户和商品的静态特征,再采用多臂赌博机策略进行推荐,其缺点是没有深入提取和更新特征,限制了推荐性能。本文提出一种将矩阵分解与多臂赌博机相结合的方法来解决特征提取问题,具体来说,根据用户对商品真实评价与预测评价的误差,使用矩阵分解算法更新用户和商品特征;再对新的特征使用多臂赌博机策略进行商品推荐。本文算法很好地将多臂赌博机策略和矩阵分解算法相结合,有很强的通用性和可扩展性。为提升系统的计算效率,增加其可扩展性,本文使用Spark分布式计算框架将算法进行并行化处理,解决了单一处理单元的计算瓶颈。利用Spark集群,在不同集群节点数的环境下,分别对本文提出的算法进行实验,分析算法的推荐准确度,对比分布式与单机模式的运行效率。实验结果表明,本文提出的算法在累计误差和点击率两个指标上较以往处理冷启动问题的算法有一定提升。同时,采用Spark计算框架实现算法的并行化计算,其结果表明在不降低算法准确性的前提下,可有效提升算法的计算效率。
其他文献
英国政府于2016年推出教学卓越框架,作为研究卓越框架的延续,其平衡教学和研究的评价标准打破了英国高校传统格局,为高等教育的改革提供了一种新的思路,必将对全球的高等教育
阀门是流体管路的控制装置,在石油管道运输生产过程中发挥着重要作用。以输油站场典型阀门设备节流阀、球阀、安全阀为研究对象,对其失效模式以及原因全面分析,综合分析了阀
为了使航路规划算法在三维动态环境下能够快速规划出较优可行航路,基于快速扩展随机树算法(RRT),对规划航路点进行了无人机飞行动力学约束,并且设计了局部航路动态优化策略。
伴随着互联网技术的飞速发展,人们身边环绕着各种各样的数据信息,但是在这些海量数据信息中,只有极少数的数据信息是用户所感兴趣的,因此,如何在海量数据信息中找到对用户有用的信息,并将其有针对性的推送给用户,是推荐系统所要研究的问题。通过对推荐系统的分析,发现传统的推荐算法存在一些不足,混合推荐算法的出现有效的缓解了这些问题。首先,对于传统推荐算法存在的冷启动和数据稀疏的问题,主要是通过基于统计的推荐算
为了解决轨道交通桥梁工程数量计算中存在的工程量信息传递次数多、效率不高等问题,提出一种基于结构化数据的工程量计算方式,省去了基于二维图纸进行工程量计算方式中的信息
针对全电式阀门执行器高可靠性要求的问题,对全电式阀门执行器的可靠性设计进行了研究和探讨。依据性能要求,确定了全电式阀门执行器的结构方案;应用考虑重要度和复杂度的可
<正>引言气候是影响自然生态系统的活跃因素,是自然生态系统状况的综合反映,是人类社会赖以生存和发展的基础。气候安全是国家安全体系和经济社会可持续发展战略的重要组成部
借助COBRA软件对某角接触球轴承的游隙和结构参数进行了仿真分析,大大减少轴承的接触应力和滚道磨损发热量,缩短了设计周期,提高了生产效率。
由于阀门在系统中的应用越来越重要,这就要求对阀门的可靠性提出更高的要求,所以研究阀门的可靠性就成了现阶段的要点。分析阀门的可靠性、设计阀门的可靠性、并对设计出来的阀
以FAG2808滚子轴承为例,应用弹性流体动力润滑理论,通过理论公式以及拟动力学分析软件COBRA计算最小润滑油膜厚度,初步研究轴承油膜厚度的影响因素及其各个因素对油膜厚度影