对数似然相似度算法的MapReduce并行化实现

来源 :计算机工程与设计 | 被引量 : 0次 | 上传用户:xiaotre
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于MapReduce模型计算相似度的方法。通过设计4个MapReduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对,以减少中间计算量和通信开销。实验结果表明,和Mahout中的单机版相似度算法相比,基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性,能够提升推荐算法的效率。
其他文献
分析化学是中职院校化工分析、食品等专业学生的一门必修课程,它着眼于学生分析基本技能的培养,并对后续相关课程起到引导与铺垫作用,教学要求较高。中等职业学校以往的分析
当今时代,创新无处不在,知识创新、技术创新、制度创新、文化创新、管理创新、金融创新、商业模式创新等等,创新已经渗透到经济发展和社会生活的方方面面。创新能力水平也成
文学作品中的色彩有奇妙的传情达意的作用。《雪国》是川端康成的著名作品。《雪国》中各种颜色交织,展现出独特的色彩美,红色在文中出现得最多。"红色"的翻译尤为重要。本文
当前主流通信网络的信息传输几乎都采用“存储-转发”路由模式。然而,网络编码的出现改变了人们对这种模式的固有认知。由于允许中间节点对接收到的数据进行某种编码操作,网络
日本电视动画的制作与播出,其原作大多都是来自漫画。当漫画期刊上连载的漫画受到大众的欢迎,并其单行本销量达到一定数量后,出版社与动画制作公司将进行商讨来决定是否改编
随着我国经济的全球化、一体化以及市场需求的多样化、个性化,我国物流企业面临着巨大的生存和竞争压力,传统各自为战、相互竞争的企业发展模式已无法适应现代企业的竞争环境
黑龙江垦区经过几代人的努力拼搏,创造了宝贵的文化财富——北大荒文化,它是北大荒核心价值观和北大荒精神的外在表现,是熔铸在北大荒人心灵深处的凝聚力和创造力,是北大荒人的独
通过问卷调查,发现高校扩招后大学生公共的学习空间不能满足大学生的需求,学生不文明上自习行为破坏了教育资源公平的利用。提出高校必须真正树立起"以学生为本"的理念,多方
继"朦胧诗"后,"第三代诗歌"借助"pass北岛"的口号明确了自己的诗歌创作方向。"第三代诗歌"具有明显的个人特色,同时也反映了20世纪80年代一批年轻人的理想追求与人生感悟。在
随着我国经济体制的转型和高等教育招生制度的改革,高校贫困生问题日益凸显出来,成为近年来的社会热点问题之一。文章在对高校贫困生问题的产生原因及高校贫困生认定难点进行