基于Spark的ALS协同过滤推荐算法研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:lewy540
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术极速发展的当下,网络中的信息数据以爆炸型的姿态迅猛增长,如今处于大数据时代,用户面对如此复杂的信息数据,如何进行有效的筛选和过滤已经成为当今互联网领域的一个重要问题。目前,个性化推荐系统是解决此问题较为流行的全新方法,常常被用于各大电商网站以及社交系统中。在个性化推荐系统中,推荐算法是其精髓,但是一般的推荐算法,在海量用户行为数据的情况下,不能迅速的对用户进行个性化推荐,以至于影响用户体验。因此,在大数据时代,各种分布式计算平台的涌现,为个性化推荐算法的进一步发展提供了机会,其中Spark分布式计算平台以基于内存的,分布式的,迭代并行化方面的速度特点,使得算法在并行化实现和模型的高效训练方面均具有优势。但是,国内外对基于Spark分布式计算平台的推荐算法的研究并不多,因此在这种情况下,本文主要研究协同过滤算法中的ALS矩阵分解算法,并提出了一种针对ALS矩阵分解算法的改进算法,将其在Spark分布式计算平台上进行实验。本文首先分析研究了ALS矩阵分解算法的原理并在Spark分布式计算平台上进行了实现,通过设置多组模型参数进行自迭代的实验,以性能指标RMSE,MAE的值作为根据,进行多个模型的比较,从而得到ALS矩阵分解算法的最优模型的最优参数,为之后算法的改进尊定了基础。接着分析了ALS矩阵分解算法存在的一些问题,由于在矩阵分解阶段造成因子信息的丢失影响推荐的准确性和大量迭代运算影响收敛速度是ALS矩阵分解算法的不足,因此对不足之处进行了改进。首先是通过Word2Vec词向量模型高速将词与词的相似性转换为向量之间的相似性,然后利用基于余弦相似度的LSH局部敏感哈希算法高速计算词与词向量化后的项目相似度矩阵,之后利用用户-项目评分矩阵结合项目相似度矩阵计算得到了未评分项目的预评分,将预评分通过Spark的算子填充稀疏的原评分矩阵,从而得到新的评分矩阵,最后将该评分矩阵作为ALS矩阵分解算法的输入数据,从而得到推荐结果。同时在ALS矩阵分解算法的矩阵分解阶段加入相似性,以减少用户项目隐含特征因子信息的丢失。通过实验结果表明,改进后的算法相较于传统的ALS矩阵分解算法在迭代次数方面很明显的减少,评分预测的准确度有了一定程度的提高。并且在算法性能方面要优于传统的协同过滤算法。
其他文献
2019年中央一号文件重点就三农问题做出政策性引导,并指出2020年实现建设小康农村,而农地作为农民生活主要经济来源,其权利制度改革是三农中最基本也是最重点改革项目。其中
本报告是在翻译沈石溪小说《再被狐狸骗一次》前三章的基础上完成。和其他传统动物小说相比,该翻译材料内容新颖独特,并非完全按生物学动物行为规范进行描写,而是侧重于动人故事的呈现,语言细腻,多体现中国特色言说方式,在翻译过程中既做到保留原作中国特色的言语表达风格,又不令读者费解十分重要。译者行为批评理论,聚焦于翻译内外相结合的研究,突破二元对立思维,在其指导下,译者竭力兼顾原作风格保留和目的语读者的接受
随着移动互联网和物联网(IOT)的飞速发展,人们对于系统容量、频谱效率的需求日益增加。非正交多址接入(NOMA)技术通过利用功率域资源可有效地提高系统容量和频谱效率,多输入多输出(MIMO)技术通过利用空间域的资源来成倍地提高频谱效率。MIMO-NOMA技术结合了MIMO和NOMA的优势,充分利用了空间域和功率域资源,可显著地提高系统容量以及频谱效率,满足移动互联网和物联网的发展需求。MIMO-N
能源枯竭、环境污染与全球变暖等现象成为步入20世纪后各国关注的焦点,尤其是倡导节能减排与发展低碳经济已成为全球追求的重要目标。严峻的能源与环境问题所造成的二氧化碳减排压力,使发展低碳经济成为中国的一个巨大挑战。但科技创新水平的不断提高有助于推进碳减排工作的开展,是中国完成碳减排目标并保持经济可持续发展的重要途径。由于科技创新与碳排放之间存在一定的联系,对其效率评价模型的选择也需符合科技创新-碳排放
这些年来,外语教育(特别是英语教育)领域不断进行深化教育教学的改革以提升课堂教学质量。而随着世界经济的飞速发展,国与国之间的交流也日益加深,英语作为国际通用语言,它的
目的:探讨丙泊酚对烧伤大鼠血液高凝状态的影响。方法:选取10周龄、雄性SD大鼠30只,体质量控制在220±10 g,所有操作和动物处理均按照实验动物指南及标准进行。适应7天后开始实验,适应期间每天抓取大鼠5分钟,以减少无关应激刺激对后续实验操作的影响。将大鼠随机分为三组(n=10):丙泊酚+烧伤(A)组,单纯烧伤(B)组和空白对照(C)组。A、B两组大鼠用1%的戊巴比妥钠45 mg/kg经腹腔进行
喷射式制冷系统是制冷技术中一种较为节能的低品位热源驱动制冷系统,然而,喷射式制冷系统都具有低性能系数的缺点,喷射器作为系统的核心部件,它的性能往往是影响系统性能参数的关键因素之一。喷射器内部混合的复杂过程,涉及诸多流体力学问题,如激波问题、湍流问题、壅塞而导致的“恒能力”现象等。清楚认识其内部流场变化对于提高其性能是至关重要的。针对解决喷射器在亚临界区域工作时性能恶化的现象,提出增气补焓式喷射器结
难选的低品位胶磷矿在我国储量丰富,但开发利用困难且选矿成本较高,大部分未经分选就被丢弃,造成了严重的资源浪费。因此本论文以Falcon强化重力分选与浮选联合分选方法对难选的低品位胶磷矿进行试验研究,探索出最优的分选工艺条件与工艺流程,为难选的低品位胶磷矿分选提供新的工业生产选择。本论文的试验矿样来自于安徽某低品位胶磷矿,原矿中P_2O_5品位为14.84%,该矿石在风化类型属于原生矿石、工业类型属
由于受各种主客观因素的制约,少数民族地区与我国其他地区的发展还存在着较大差距。为加快少数民族地区经济社会发展,在中央和地方各级党委与政府的领导下,以民族区域自治为基本政治制度,采用跨越式发展的发展方式,充分发掘和利用少数民族地区的有利条件和发展优势,不断增强少数民族地区发展的内外动力,在一系列有利于少数民族地区发展的制度保障和政策扶持下,我国少数民族地区的跨越式发展取得卓越成就。在推进少数民族地区
超现实主义是20世纪最具代表性的艺术流派之一,虽然其留存的时间不长,但对欧美其他艺术流派以及中国当代艺术创作都产生很大的影响。超现实主义的绘画风格强调超现实梦幻与虚拟现实的完美结合,从而逐渐打破常规的模式,建立新的秩序。本文以超现实主义绘画的视角切入抽象性理论,透过每幅作品来论证抽象性形式以及作品背后所隐藏的思想观念。第一,通过对超现实主义者的生活和“反理性”的理论对其产生的影响以及对欧洲其他艺术