数据过载催生了推荐系统的产生,而随着互联网的飞速发展,传统的离线推荐越来越难以满足用户需求,用户对于推荐系统的实时性要求越来越高。当前国内外对于推荐系统的研究主要是基于离线数据对推荐系统模型进行更新,实时调用离线更新得到的推荐结果。本文在离线推荐系统的基础上实现了基于Storm的实时推荐系统。设计了基于Flume的数据收集模块,基于Kafka的数据缓存模块,基于协同过滤以及改进的集成算法的离线计算模块、基于Storm的实时计算模块以及数据存储模块。Flume是一个高可用的、分布式的海量日志采集系统,Flume兼容多种数据源并且可以将采集到的数据输出到多种外部存储系统中,通过对Flume的简单配置即可实现日志采集;而分布式的Kafka消息队列可以解决当实时数据过大时造成的数据堵塞,Kafka的生产者消费者模式比起消息的订阅发布者模式更易于实现数据缓存。在离线计算阶段,通过对比推荐系统的召回以及排序算法,选取了协同过滤算法以及改进的集成学习算法。在推荐的召回阶段,其决定了召回的上限,因此采用了业界使用最多的基于物品的协同过滤算法。考虑到离线数据的量级,所以基于Hadoop Map Reduce实现了离线物品相似度的计算,即通过计算物品的共现矩阵来增量更新物品的相似度。集成学习即Stacking算法主要包括两层,第一层为基于Boosting的GBDT算法以及基于深度学习的WD算法。Boosting提升方法的思想是,在实际的机器学习任务中,学习一个良好的模型是比较困难的,而学习很多弱分类模型是比较简单的。GBDT算法是梯度提升Gradient boosting和决策树Decision Tree的结合,Gradient boosting中的单个学习器为Decision Tree。WD模型通过对LR模型以及DNN模型的联合训练,既保证了推荐系统的泛化能力也保证了推荐系统的记忆能力。Stacking模型把GBDT以及WD模型的输出结果作为第二层模型LR的输入从而进行了最终推荐。在离线阶段会将离线计算好的物品的相似度矩阵以及最终的推荐结果保存到Redis中以便实时计算的调用。在实时阶段,通过对比当前的流式计算框架,选取了纯流式计算模型Storm,Storm在实时推荐阶段,会通过时间窗口保存用户行为,超过窗口规定时间的用户行为则不被计算,来结合更新规则实时更新物品相似度进行实时更新以及推荐。离线计算框架结合实时计算框架保证了推荐的准确性以及实时性。最终通过对推荐系统召回率、准确率以及推荐时间、各推荐算法的AUC的对比,证明了设计的可行性。