基于Hadoop平台和Spark框架的推荐系统的设计与实现

来源 :华侨大学 | 被引量 : 0次 | 上传用户:lsd1104
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,信息过载的问题随之而来。解决信息过载的途径之一是利用推荐系统对用户做个性化推荐。传统的推荐系统扩展性差、计算时间长,在海量数据下会遇到计算和存储瓶颈。如何在短时间内将海量信息推荐给海量用户成为推荐系统所面临的严峻挑战。使用hadoop平台可以解决推荐系统海量数据处理的问题。本文设计了一个基于Hadoop平台和Spark框架的手机App应用推荐系统。该系统结合基于项目的协同过滤算法与逻辑回归算法,将用户访问数据从关系型数据库到导入到Hive数据仓库中进行数据处理。首先在Hive中通过创建中间表和调用Python脚本文件等一系列操作,包括样本和特征抽取以及构建训练数据,将数据处理为算法数学建模的入口数据。然后根据商品特征和用户行为在Spark计算框架中调用逻辑回归算法做数学建模,将用户的喜好这一抽象概念具体化,通过调用逻辑回归算法生成模型文件。最后将生成的模型文件放置到线上Dubbox项目,根据推荐模型做推荐。基于项目的协同过滤算法可以寻找两两物品之间的关联,是业界中常用的推荐算法。逻辑回归算法是一个二分类算法,算法输入为特征,输出为特征加权重,结合协同过滤算法和逻辑回归算法可对用户做个性化推荐。本文系统评估主要评价系统的处理性能、准确率、AUC这三个指标。实验表明,本文设计的结合逻辑回归和协同过滤算法的推荐系统在冷启动问题方面有明显的优势。
其他文献
目的:观察补肾强督祛风通络法治疗早中期强直性脊柱炎的临床疗效。方法:将100例强直性脊柱炎患者随机分为治疗组和对照组各50例,治疗组采用中药内服外敷治疗,对照组口服柳氮
高等教育拥有自然性和社会性的特质 ,自然性即隐含于高等教育内部 ,直接指向教育和教学运行的自然规律 ,社会性体现在高等教育对象的个人社会化和高等教育本身的社会化的特征
近些年来,世界经济一体化趋势日益显著,我国市场经济改革也不断深入,大批金融产品及其衍生产品出现在国内市场,再加上经济快速发展让传统的历史成本计量方式已经难以满足利益相关者需求,以公允价值与历史成本相结合的计量方式成为财务会计计量模式的必然发展方向,这也决定了在未来会计计量领域中公允价值的运用势必日益广泛。因我国资本市场的不完善,以及社会主义市场经济体制的特殊性,使得公允价值的评估在实务中存在诸多问
为了改善生态环境,缓解常规能源供应不足的问题,需要大力发展新能源,在各种新能源中,风能以清洁、环保、无污染、取之不尽、用之不竭的特点引起了各国的高度关注,风能也是目
光子晶体是一种可以调控电磁波传播的人工微结构,其出色的调控使得它自从被提出后,就一直是凝聚态物理领域研究的重要方向之一。利用光子晶体优异的特性,研制和发展出许多光学和光电器件。例如,光学传感器、开关器、激光器、光子晶体微型天线等。在第二章,本论文主要从理论上研究了光子晶体中由电磁波的偏振和入射角度调控的类拓扑转变。我们从电磁波在单界面入射的情形出发,发现界面处反射波相位在布儒斯特角前后会发生π到0
目的:观察藏药镰形棘豆总黄酮苷元对小鼠的急性毒性作用,以评价该药物的安全性。方法:以最大给药浓度和最大剂量(0.1 g/kg)灌胃给药,连续观察7天,判断半数致死剂量的可能性,
黄芪是常用中药材,功效为补气升阳,益卫固表,利水消肿,托疮生肌。现代医学研究证明黄芪具有降压、延年益寿、调节免疫功能、抑制血小板聚集、增强记忆能力等作用。近年来,人们对黄
随着我国城市化和工业化进程的快速推进,部分大城市周边普遍发育形成一类新型地域类型--半城市化地区,它的出现打破了传统的城乡二元局面,成为经济发展的前沿阵地和社会矛盾
目前,我国《刑法》中的传播性病罪存在罪名不准确、内容不明确、处罚不合理、规定不科学等缺陷。这些问题的存在,不仅造成了理论界对该罪的争议,更导致了司法实践上的不统一,因此