基于Hadoop的上下文感知推荐系统研究与设计

来源 :中北大学 | 被引量 : 0次 | 上传用户:ufs2997izxn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随Internet和IT的快速发展,以及云物移大智(云计算、物联网、移动互联网、大数据和智慧城市)等新技术的出现,数据增长和积累都很迅速,从而引起“信息过载”问题。推荐系统作为“个性化服务”的一个重要分支,能有效解决这个问题。然而传统推荐系统很少关心上下文环境等信息,而且有关上下文的推荐国内外研究的很少,从而本文重点研究上下文感知推荐系统。同时,困扰人们多年的大数据存储和并行计算问题,在Hadoop分布式计算框架出现后,得到行之有效的解决。从而,上下文感知推荐系统结合Hadoop是本文研究的课题。本文的主要研究的工作是:(1)首先学习Hadoop、HBase、Hive、Sqoop、Flume、Storm和Kafka等Hadoop系列技术,和推荐系统、普适计算、上下文感知等一系列概念;(2)重点研究了基于内容与上下文感知的推荐算法,首先说明了基于内容的推荐过程分三步来完成,然后对其中的每一步进行建模,并且详细讲解了用户兴趣向量模型的计算,并应用“贝叶斯公式”来平衡数据分布不均匀的问题,接着利用余弦相似度公式进行基于内容的推荐,接着重点把基于内容的推荐算法、Hadoop和上下文信息整合在一起,使用基于MapReduce的K-Means算法进行聚类降维,最后利用多维评分函数,把推荐结果进行上下文信息的过滤;(3)详细介绍了基于Hadoop的离线上下文感知推荐系统的设计工作,从数据采集到数据处理,再到数据存储等生成推荐的整个过程。有别于其它推荐系统不注重数据采集,本文对数据采集做了详细的设计,也重点介绍ETL处理中Hive开发和调度的过程,并且使用HBase数据库进行设计等;(4)简单介绍了实时推荐系统的框架和采用的技术;(5)最后通过实验分析和评估,说明加上Hadoop和上下文感知信息的内容推荐系统在准确率、召回率和加速比上有明显的优势。
其他文献
44岁的男性患者,因咽痛、咳嗽3天,发热1天到医院就诊。查体:体温39.9℃,脉搏1080:/分,呼吸20次/分,血压120/80毫米汞柱;浅表淋巴结不大,咽部充血,左侧腭扁桃体Ⅲ度大,右侧腭扁桃体Ⅱ度大,均未
随着我国社会发展进程的加快,城市公共设施的建设规模也迅速扩大,民众的生活环境在物质层面得到了快速的提升。但随着大量高层住宅的涌现,大尺度的竖向空间造成了诸多社会问
基于GPS/GSM的老人儿童定位系统是一种用GPS(Global Positioning System,全球定位系统)进行定位,GSM(Global System for Mobile Communication,全球移动通信系统)进行信息传
基于暂住人口以及抽样调查的统计数据,对南京市主城区流动人口职住分离状况进行分析。首先对南京市流动人口职住分离进行定量测度,在此基础上,分析其地理分布特征,然后分别就
目的分析心源性肺水肿患者的肺CT影像学表现,从而提高心源性肺水肿患者的临床认识。方法自2010年1月至2013年1月收治的100例心源性肺水肿患者,以发病时间不超过24小时为限,分
湖里区政协委员,厦门市中医院副院长吴耀南从事中医脾胃病研究30年,他所领导的脾胃病专科是全国中医重点专科。而他个人因为医术精湛,医德高尚,多次受到全国、省、市卫生系统
晋西黄土高原是我国黄土高原的重要组成部分,其农业的发展受到了自然环境的影响,加之近年来煤炭产业发展加剧了当地生态的破坏,导致当地耕地面积萎缩,自然灾害频发,使其农业
西安城市化的快速发展,城市规模的扩大以及城市内部功能的不断变化和更新使得一些地块原有的用地性质不断发生变化。城市公园绿地作为城市户外生活中不可缺少的一部分在城市
在人们生活水平稳步提升的背景下,智能厨房家居快速崛起并发展壮大。同时我国正处在老龄化加速阶段,针对老年人设计的厨房智能产品还不够丰富,不能较好的同时满足大众使用者