随着互联网的快速发展,web2.0、物联网、电子商务等已经深入到我们生活的方方面面,信息也呈爆炸式增长,如何从海量信息中找到对自己有用的信息,成为一个非常困难的问题,而解决这个问题的一个最直接有效的方法就是推荐引擎。然而,随着数据量级的不断增大,传统基于单机环境下的推荐引擎已经不能满足企业的要求,将大数据相关技术引入推荐领域已经成为一种趋势,因此本文提出了基于Hadoop平台和Mahout框架的推荐引擎的设计与实现。本文首先对所使用的大数据核心技术进行了分析,然后对推荐引擎的基本框架及主流的推荐算法进行了研究,分析了推荐引擎中的几个关键问题,如可扩展性问题、数据稀疏性问题和冷启动问题,并针对这几个问题提出了相应的解决方案。重点研究了基于用户的协同过滤算法,分析了该算法所存在的不足之处,传统的基于用户的协同过滤算法在计算用户相似度时,只考虑用户对物品的评分等级,而忽略了用户对物品的评分时间,只考虑用户单方面的相似度,而忽略了用户与物品之间的潜在联系以及用户自身特征属性信息对推荐结果的影响,针对以上问题,引入时间衰减函数、偏好度函数和用户特征向量对传统的基于用户的协同过滤算法进行改进,并结合MapRedce思想和Mahout机器学习框架对改进后的算法进行分布式处理,同时完成了Hadoop集群的部署和Mahout机器学习框架的搭建,采用真实的电影数据集对改进后的算法进行了一系列对比实验,实验结果表明,本文提出的改进算法可以明显提高推荐的准确度,基于Hadoop平台上运行的分布式推荐算法,其执行效率较传统单机推荐算法得到明显的提升。本文最后使用改进后的基于用户的协同过滤算法,并依托大数据平台和电影数据集,设计并实现了一个电影推荐引擎原型,主要完成了系统整体架构的设计、系统执行流程的设计,系统各个部分所对应数据库的设计和系统功能模块的设计,最后对电影推荐引擎进行测试,测试结果表明,系统各个功能模块运行正常,性能和体验良好。