论文部分内容阅读
聚类是数据学习中一项关键技术,以无监督的形式进行分类。通俗地讲,聚类就是将数据划分出不一样的类簇,同一类簇中的相似度尽可能的大,而不在同类簇中的相似度尽可能的小。近年来,聚类出现在很多新的技术研究领域,如:个性化推荐。个性化推荐是依据用户数据和喜好习惯向用户推送符合偏好的信息,挖掘用户的潜在需求,这在很大程度上减少了查找信息的时间,提高了网络平台的效率。协同过滤算法面对庞杂数据进行推荐时,算法推荐效率会降低。利用聚类算法数据分类的特点来解决推荐中的弊端,不仅能降低计算量,还提升了推荐效率。聚类算法在个性化推荐技术中应用时,如何实现快速、高效率的推荐是研究的重难点。本文针对经典聚类算法自身的不足和推荐算法存在的问题缺点等进行分析研究,工作具体如下:(1)针对K-means算法随机生成初始中心对结果干扰大以及容易陷入局部最优的缺点,先提出了依靠密度峰值优化K-means初始中心的F-KMs聚类算法,再提出名为N-FK的集成算法:不仅可以快速得到最佳初始中心并且利用谱聚类的算法特点解决了F-KMs无法处理任意密度形状的数据的不足。(2)针对在处理大规模数据时,近邻传播(AP)算法复杂度高且需要巨大内存做支持,算法结果受参数取值的影响大以及AP算法无法处理非凸数据等问题。本文融合AP和N-FK算法,提出一种三阶层的集成聚类算法:第一层利用AP对数据稀疏粗分,每类选取一个类代表元;第二层对得到的类代表元通过N-FK进行细致聚类;最后合并前两层的结果得到所有数据的精确划分。所提出的集成算法,融合了AP及N-FK算法的优点,可以处理不同类型的大规模数据,减少存储空间利用。(3)将本文集成聚类算法应用于个性化推荐中,设计出基于集成聚类的多层次推荐算法。此算法先将原大数据集进行聚类划分,然后从相似度高的目标类中重新构建用户矩阵进行协同过滤推荐,减少了计算复杂度。文章采用MovieLens数据集进行实验,通过推荐性能度量指标进行测评检验,证明本文提出的多层次推荐算法提高了的推荐效率,并可以处理数据稀疏性的弊端,使推荐更具“个性化”。