基于Hadoop云平台推荐系统的研究与设计

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:weidaxia888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息技术高速发展的时代,信息过载现象越发严重,如何能在大量的资源中快速挖掘出用户感兴趣的信息,已成为亟待解决的问题,在这种时代背景下,推荐系统应运而生。然而在实际应用中,稀疏矩阵问题是致使推荐系统推荐准确率下降的一个重要原因。另外,用户的行为数据呈爆炸式增长,这种现象导致单台服务器已经很难满足推荐系统海量数据的运算需要。综上所述,基于Hadoop云平台的推荐系统的研究具有理论和实际的双重价值。协同过滤推荐系统是被使用最广泛的推荐系统,因此本文以协同过滤推荐系统为主要研究目标,旨在解决推荐系统的稀疏矩阵、处理海量数据计算瓶颈等问题。基于以上两种关键问题,本文从算法与系统两个层面进行优化,研究并设计了一种基于Hadoop云平台的推荐系统。本文工作主要包括以下几点内容:1)阅读了大量有关推荐系统协同过滤算法的文献,总结前人的研究成果和现在国内外相关研究状况。2)为了有效防止传统协同过滤方法存在的项目维度过高、数据稀疏性、主观因子干扰等问题,本文提出了一种基于用户兴趣模型以及惩罚主观因子的协同过滤算法(Interests Model Weaken S.ubjective Collaborative Filtering,IMWS-CF)。该方法引入兴趣因子,用户兴趣评分因子、惩罚主观因子等概念,通过采用高效可行的方法来降低数据集的稀疏性与提高算法的精度,进而解决推荐系统的稀疏矩阵问题。3)在研究了推荐系统技术细节的基础上,利用之前的优化算法(IMWS-CF),设计一种基于Hadoop云平台的推荐系统。运用模块化的思想对系统进行优化设计,在考虑高并发、稳定性、易扩展性等因素的同时,还提出并设计了环境分析引擎,基于不同的推荐环境,采用不同的推荐策略,从系统架构层面上优化了推荐系统的精确性。4)从稀疏矩阵与并行计算能力两方面进行实验设计,验证本文设计与实现的基于Hadoop云平台推荐系统,其在缓解稀疏矩阵问题与海量计算瓶颈问题上,都起到了优化的作用。
其他文献
U盘是常用的移动存储设备,尤其是大容量的U盘,可以使用它存储更多的文档和绿色程序。但随着文档和程序的增加,组织帮管理就成为问题了。Windows有“开始”菜单,在菜单上可以打开
摘 要:本文通过将釉损定义与分类,并对釉损原因进行总结分析,得知球釉过程损耗、过程污染损耗以及转产剩余是造成釉损的主要原因。根据原因提出了相应的釉损控制措施并严格执行跟踪,项目实行后,月釉损率达到了由21%降到15%以下的目标,效果可观。  关键词:陶瓷砖;精益生产;釉损;原因;控制  1 引言  随着喷墨技术的发展以及釉料技术的进步,陶瓷有釉砖产品日益增多,因此釉料的加工也成为陶瓷生产厂家生产控
由佛山传媒集团、佛山市总商会、佛山市企业联合会主办的第六届“品牌佛山”系列活动成果发布会暨经验分享会于11月17日举行.活动评选出3家“优质特色制造企业”、20家“消费
遵义市是全国酸雨控制区,于1983年在中心城区丁字口设有一国控监测点位,开展常年酸雨监测.2002年5月,根据全国酸雨普查的技术要求,开始同步监测降水的pH、降水量、电导率以及
工控系统常需将各个控制子系统连接起来,用一台主要设备(如PC机)来发出命令和收集数据,形成一个专用网络。文中首先介绍了RS-485接口的基本性能,然后结合具体实例,就RS-485工
经过3个多月的报名、作品收集等环节,三诺第二届摩机大赛北京地区决赛于6月19日下午14时30分打响。在北京赛区比赛的过程中,三诺官方收到了摩机方案数十份,经过海选最终有20
1 案情介绍  (1)立案日期:2016年2月19日;  (2)申请方:M/S Shabbir Tiles & Ceramics Limited;  (3)被调查产品:瓷砖产品,无论上釉或非上釉、抛光或非抛光;主要用作墙砖和地砖;涉及的海关编码包括69071000、69079000、69081000和69089010和69089090;  (4)倾销调查期: 2014.10~2015.09;  (
摘 要:本文主要从工艺流程和工艺参数上阐述了一种彩色立体析晶砖的制备方法。同时分析了热膨胀系数匹配在彩色立体析晶砖的制备方法中的重要性,以及如何保证热膨胀稳定的几种常用措施。  关键词:彩色立体析晶;大片状熔块;辊筒耙  1 前言  微晶砖是由微晶玻璃与陶瓷基体复合而成的建筑装饰用饰面材料,起步至今约十多年,虽然发展时间不长,但由于其具有吸水率低、耐污染、耐酸碱度高的理化性能,以及质地细腻、色彩丰
针对红外图像增加问题,提出利用双门限分割后再进行灰度变换的图像增强新方法,将图像按两个灰度阈值分割成3部分,即灰度值的高段、中段和低段。对3部分采用不同的灰度变换方法,以求
目的 探索一种可靠、稳定、适用于混合斑个人识别的方法。方法 采用PCR方法对20例已知混合斑2例强奸案中的混合斑进行ApoB位点扩增片段进行研究。结果 与已知男性毛囊或血痕DNA的ApoB位点扩