论文部分内容阅读
在面对大量信息所造成的信息过载时,推荐算法是最为有效的一种解决方式,通过记录用户的操作行为经过计算,推测用户可能感兴趣的信息。在众多推荐算法中协同过滤推荐算法是目前使用最广泛的推荐算法,但该算法也存在诸如数据稀疏性、算法可扩展度、推荐精确度等问题,本文主要针对基于引导式相似度推荐算法和基于近邻预估评分推荐算法中存在的推荐精确度不足的问题,提出了两种改进的算法模型DEI和IFSP,并在实验平台中实现两种算法的组合使用,具体研究内容如下:1.对引导式相似度衡量推荐算法模型原理进行深入研究,针对改算法中对显著度计算和离散度计算不精确而导致推荐准确度下降的问题提出一种新的差异化评价指数推荐算法模型(DEI)。该算法的基本思想是结合评分的差异值和评价兴趣偏好相似度,目的是解决原有算法模型中显著性和离散性对推荐精确度造成的负面影响。首先,算法根据差异化评分值和对相同物品的打分值是否相似来衡量物品评分系数的相似程度,其次对整体的数据集分析了用户兴趣偏好差异,最后考虑了用户间共同评分项目所占比例对相似度计算的影响采用jaccard系数来降低这部分因素对推荐精确度造成的影响。测试选取多组样本实验数据在多种推荐算法模型下进行MAE值对比,实验结果证明DEI算法模型得出用户相似度的精确程度更高,并在一定程度上降低了数据稀疏问题对推荐信息质量的影响。2.对近邻预估评分推荐算法模型原理进行深入研究,针对改算法在计算预估评分时没有考虑到未打分物品与用户已经打分物品的相似性而导致的预估评分值精确度下降问题,提出一种新的基于物品相似类预估评分推荐算法模型(IFSP)。该算法的思想是通过对相似物品聚类构建评分矩阵,把等待预估评价物品与用户已评价相似类物品的数目作为物品的权重,再结合特定用户相似度,对预估评分进行合理的调试,优化预估评分模式。测试选取多组样本实验数据在多种预估评分模型下进行MAE值对比,实验结果证明IFSP预估评分方式显著提高了预估评分的精准性。3.基于改进的DEI算法模型和IFSP算法模型,选用spark2.0计算框架实现两种改进算法模型的整合。通过在多组样本数据集群下进行测试得出结果,证明了整合的算法模型在实际应用时能够有效改善系统计算效率,提高了算法的可扩展性。