论文部分内容阅读
互联网的出现与普及给予了用户更多的可访问信息,满足了大数据时代的信息需求,但随着互联网的快速发展,信息呈现爆炸性增长和扩张,信息结构日益复杂,形成“信息超载”(information overload)问题,普通用户获取感兴趣的内容和商品的难度和成本相应增加。信息量的增大,反而对信息利用率施以反效果。个性化推荐系统被认为是解决上述问题的最有效工具和方法之一,自被提出以来,得到快速发展,能从动态变化的信息流中更准确的拣选出满足用户实际需要的商品与内容,从而在一定程度上缓解甚至解决了“信息超载”问题。推荐算法作为推荐系统的核心,对推荐效果有着根本性的影响,随着网络技术的发展,各种推荐算法应运而生,并取得了显著的效果,然而仍旧存在一些问题,尤其是在大数据背景下推荐系统中所存在的推荐效率低下、扩展性差、推荐质量不高等问题逐渐显现,亟待解决。本文针对以上问题提出一种结合聚类与矩阵分解的融合算法,具体的工作如下:(1)基于Bregman距离的联合聚类算法挖掘出具有相似特性的低秩评分子矩阵。通过组合不同约束集、不同聚类计算方式、行列类簇数量等配置来挖掘出多样的、不同层次的评分子矩阵,为后续多模型融合做好铺垫。联合聚类算法拆分原始评分矩阵,提高整个推荐算法的并发度与扩展性,缓解算法的高开销问题。(2)在各个模型的子矩阵上并发地进行矩阵分解,在矩阵分解阶段采用SVD++算法,基于每个子矩阵中的评分分布计算加权策略,给予高频评分较大权值,通过牺牲小部分数据使模型向评分矩阵的高频评分部分倾斜,以此来缓解子模型数据不足而产生的欠拟合等问题,提高对大多数评分的预测精度,从而在一定程度上提高推荐性能。在梯度下降阶段,引入学习速率函数控制学习速率的更新,提高了算法的效率。(3)聚类算法确定聚类中的评分分布,多个异构的聚类产生子矩阵中的评分分布不同,即根据不同的聚类结果训练从而得到不同的子模型。本文采用子模型均值融合方式将多模型融合成单一的模型进而输出推荐结果,使基于不同聚类的推荐结果达到互补的效果。通过实验证明,本文所提出的算法与三种基线算法相比,在均方根误差(RMSE)与平均绝对误差(MAE)上均有明显降低,换句话说,推荐的质量大大提升,推荐效率也相应提高。