论文部分内容阅读
伴随Internet和IT的快速发展,以及云物移大智(云计算、物联网、移动互联网、大数据和智慧城市)等新技术的出现,数据增长和积累都很迅速,从而引起“信息过载”问题。推荐系统作为“个性化服务”的一个重要分支,能有效解决这个问题。然而传统推荐系统很少关心上下文环境等信息,而且有关上下文的推荐国内外研究的很少,从而本文重点研究上下文感知推荐系统。同时,困扰人们多年的大数据存储和并行计算问题,在Hadoop分布式计算框架出现后,得到行之有效的解决。从而,上下文感知推荐系统结合Hadoop是本文研究的课题。本文的主要研究的工作是:(1)首先学习Hadoop、HBase、Hive、Sqoop、Flume、Storm和Kafka等Hadoop系列技术,和推荐系统、普适计算、上下文感知等一系列概念;(2)重点研究了基于内容与上下文感知的推荐算法,首先说明了基于内容的推荐过程分三步来完成,然后对其中的每一步进行建模,并且详细讲解了用户兴趣向量模型的计算,并应用“贝叶斯公式”来平衡数据分布不均匀的问题,接着利用余弦相似度公式进行基于内容的推荐,接着重点把基于内容的推荐算法、Hadoop和上下文信息整合在一起,使用基于MapReduce的K-Means算法进行聚类降维,最后利用多维评分函数,把推荐结果进行上下文信息的过滤;(3)详细介绍了基于Hadoop的离线上下文感知推荐系统的设计工作,从数据采集到数据处理,再到数据存储等生成推荐的整个过程。有别于其它推荐系统不注重数据采集,本文对数据采集做了详细的设计,也重点介绍ETL处理中Hive开发和调度的过程,并且使用HBase数据库进行设计等;(4)简单介绍了实时推荐系统的框架和采用的技术;(5)最后通过实验分析和评估,说明加上Hadoop和上下文感知信息的内容推荐系统在准确率、召回率和加速比上有明显的优势。