论文部分内容阅读
近年来,随着云计算、物联网、社交网络等新兴服务的迅猛发展,微博、视频网站、移动设备、通讯服务为代表的新型信息发布方式的不断涌现,大量的数据以TB、PB级产生,大数据(Big Data)时代正式到来。大数据的出现如一把双刃剑,可以方便用户随意处理、发布信息,但是从繁杂内容中寻找用户感兴趣的信息如同大海捞针一股,不仅花费了大量的时间也耗费了一定的精力,这正是当前电子商务所面临的一个难题。推荐系统(Recommender System)可以有效地解决信息过载问题,其中协作过滤推荐算法(Collaborative Filtering)是当前应用最广泛的个性化推荐算法之一,但是该算法主要是基于用户对项目的评分进行推荐的,而由于用户习惯,一般系统的评分信息很少,所以导致系统推荐质量低。因此,对于协作过滤推荐算法中数据集稀疏性问题进行研究和改进是必要且有意义的。论文主要工作如下:第一,阐述了推荐技术的相关知识及国内外研究与应用现状,对协作过滤推荐算法及其所面临的问题进行了研究分析,并从算法思想和算法性能两个方面对现有改进的协作过滤推荐算法解决稀疏性问题进行了深入分析。第二,结合当前大数据环境下的数据冗余、动态变化等特点,以改善稀疏的数据集为目标,通过分析用户浏览信息来优化稀疏数据集。从各个领域追踪每个IP地址获取与用户相关的客观评分来填充数据集,从而减小候选近邻数据集的稀疏度。第三,在既定的数据稀疏环境下,提高算法精度也可提高系统推荐质量。可以从两个方面改进:一方面综合多种因素,通过分析不同特征的用户对项目的各种属性的兴趣度,综合已评项目的属性评分值预测没有被评分的项目,提高项目相似度计算的准确性;另一方面考虑到用户对项目评分的差异性问题,提出一种针对目标项目选择近邻的协作过滤推荐算法,基于项目类型评分建立初步的近邻用户集,在此基础上针对每个目标项目构建用户的精确近邻,结合衍生的扩展邻居,有效地改善了服务质量。最后,基于属性论,提出一种基于项目属性的协作过滤推荐算法,在数据集中对项目及其属性研究分析,划分出项目的属性并计算属性权重,利用基于属性的重心剖分模型结合项目的属性权重计算项目之间的相似度。实验表明,优化的算法对于数据集稀疏所导致的问题有所改善,提高了推荐精度。