基于MapReduce的个性化音乐推荐算法的研究与应用

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:ten_wang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了解决因特网快速发展和普及所带来的信息过载问题,推荐系统应运而生。在推荐算法中,较早提出的是基于内容推荐方法,目前为止较有影响力的是协同过滤算法。其中,基于内容推荐方法虽保证推荐的准确度,无冷启动问题,但难以逃避推荐结果单一的弊端。所以针对这一弊端,本文提出了一种融合近邻用户兴趣度的推荐方法。该方法通过相似用户的既有兴趣值扩充目标用户的兴趣度向量,再将用户混合兴趣度向量与物品特征属性向量做匹配度计算。经实验证明该方法在保证准确度下降不明显的前提下,能有效提高推荐的新颖度。传统协同过滤算法是基于用户喜好不变这个假设的,但是在实际应用中,用户的喜好会随时间变化,所以推荐的结果具有滞后性;随着用户和项目的数据量迅速飙升,评分矩阵越发稀疏,导致算法的准确度大幅下降,并伴有严重的冷启动问题。所以本文针对该问题,提出了一种基于近邻协同过滤混合的推荐方法。该方法应用用户实时听歌频率信息,根据基于项目近邻算法,扩充原有评分矩阵,再根据用户近邻算法进行最终评分的预测。经实验证明,该方法在扩充评分矩阵后,矩阵的稀疏度有所降低,推荐准确度有所提升,并有效解决物品冷启动问题。与此同时,单机推荐算法的计算能力无法承受巨大数据量带来的冲击,往往伴随着严重的计算瓶颈。因此,本文搭建了Hadoop生态环境,使用MapReduce、HDFS等分布式计算和存储工具,针对算法实现过程中的大规模稀疏矩阵进行分布式计算;最终考虑到用户对热歌和新歌的需求,加入了热歌库以及新歌库的推荐策略。目前推荐领域研究的主要目的是提高推荐的准确率,但高准确率主要反映的是推荐系统预测评分的能力较强,并不能反映用户真实的需求。所以本文使用了覆盖率、新颖度等指标,共同评估推荐的综合能力。本文以网易云音乐平台的真实数据作为实验数据来源,通过七组实验证明,本文提出的推荐方法计算效率有明显提升;推荐算法的新颖度、覆盖率有所提升;有效的解决了物品冷启动问题。
其他文献
日本是一个资源十分匮乏的国家,近90%的资源依赖国外进口。日本制定的能源战略是,对外寻求稳定的能源供给,对内则把节能与开发新能源结合起来。日本实施的《节约能源法》对能
期刊
CMOS工艺尺寸的不断减小,给数字电路带来了飞速的发展,数字化时代逐渐到来,作为模拟世界与数字世界桥梁的模数转换器正发挥着无可替代的作用。随着技术的不断发展,满足不同需
弹跳射线法是计算复杂目标多次散射的高频近似算法,已经广泛应用于具有角结构、腔体等复杂电大尺寸目标的耦合散射,并且计算精度满足工程的要求。但是,弹跳射线法的显著缺点
在山区河流上修建涉水工程需考虑其对河道水流特性的影响,而山区河流水流运动的复杂性使此研究变得较为困难。该文建立了基于非结构网格的平面二维水流运动数学模型,并验证了
从碱法造纸黑液中提取出的木素,在一定条件下,以硫酸铈铵为引发剂,与丙烯酰胺反应制取木素改性产物。用红外光谱对其结构进行表付,并研究了其对重金属离子的吸附性能。结果表明:在
在数字化和现代视频理念的高速发展过程中,液晶电视技术和显示技术可以轻松地把收集到的信息带到我们面前,方便我们做出决策并对其进行研究。生活中,我们需要欣赏进口的录像
从上世纪70年代末80年代初企业文化的提出到现在,企业文化已经被学术界和管理者内化为管理思想和实践中的重要组成部分。国外对企业文化的研究走的是一条理论研究与应用研究
基于当前现状设计并实现计算机网络安全可视化研究平台。在对现有可视化工具包分析研究的基础上,结合计算机网络安全可视化研究的特点,提出计算机网络安全可视化研究平台的总体
可靠性是智能手机基带芯片产品质量的重要衡量指标之一,也是产品走向市场后是否能够具备足够的市场竞争力的前提。可靠性测试作为集成电路产品质量相关的重要测试方法,这项新