基于Hadoop的图书商城推荐系统的设计与实现

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:tambourine
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网+倡议为各个领域的发展打开了一扇窗,提供了全新的解决方案。信息化的发展提高了生产力,降低了成本,从而使人们的生活更加的便捷。但是信息化的发展结果是我们走进了大数据时代,如今人类几年产生的数据量已经超过过去一个世纪的数据量。面对日益增长的海量数据,数据生产者怎样把自己生产的数据推送到目标人群面前,数据消费者怎样快速获取自己感兴趣的数据,这就是当今世界我们面对的“信息过载”的问题。推荐系统可以有效的解决这个问题,但是传统的推荐系统在如今海量的数据量下容易遭遇瓶颈、力不从心,从而导致推荐的结果不理想,因此基于大数据平台推荐系统的研究具有实用价值与意义。  本文研究了当今学术界主流推荐算法以及大数据框架Hadoop。利用Hadoop分布式文件管理系统HDFS实现系统文件的分布式管理,利用Hadoop并行计算组件MapReduce实现分布式计算,利用Mahout组件中基于项目的协同过滤算法,设计并实现了一种基于大数据平台Hadoop的图书商城推荐系统,具体内容如下:  首先,使用Java Web技术构建了一个浏览器/服务器模式的图书商城系统。系统前端使用jQuery和Bootstrap。系统后端采用分模块解耦合开发,表现层框架使用SpringMVC,业务逻辑层框架使用Spring,数据持久层框架使用Mybatis,通过Spring依赖注入对类进行管理。数据库使用Oracle数据库,通过Maven项目管理工具进行项目管理,使用Eclipse开发工具进行项目开发,Tomcat服务器进行项目部署。  然后,构建Hadoop集群,通过数据采集模块Flume采集图书商城用户行为数据,包括用户浏览、搜索以及购买行为,通过大数据框架Hadoop解决图书商城系统海量数据存储处理问题,利用Hive组件存储通过MapReduce清洗后的数据以及通过数据迁移工具Sqoop把结果数据从Hive迁移到关系型数据库中。最终利用Hadoop框架中的Mahout组件实现基于项目的协同过滤推荐从而使图书商城系统增加个性化推荐服务功能。  最后,进行了系统功能测试以及性能测试。实验结果表明该系统具备了较完善的功能,能为用户提供良好的购物体验以及个性化的推荐服务,实现了预期的结果。
其他文献
台标识别是用来检测定位电视台台标并对其进行识别的过程。台标识别方法主要涉及图像处理、图像识别和模式识别等技术领域,它在基于内容的视频检索、节目收视率调查统计、电
随着移动通信技术的快速发展,特别是3G技术的发展,基于移动台位置的服务已经成为了运营商最主要的增值业务形式之一,因此对蜂窝网定位技术研究具有重要的实用价值。我国拥有
无线多媒体传感器网络(Wireless Multimedia Sensor Networks, WMSNs)是一种新型的无线传感网络,采用具备较强的视频和图像等多媒体信息的处理能力的多媒体传感节点,被广泛应用
随着教育信息化的发展,教育大数据越来越受到重视。基于大数据技术来挖掘隐藏的学生活动规律信息,为学生提供更加丰富的“成绩单”,进而刻画学生画像。这对于发现学生的异常
课堂考勤是课堂管理的有效手段之一,可以有效地监督学生按时上课,保证课堂的教学质量。目前学生的考勤是通过教学人员人工唱名、不定时抽查等方式来完成。这种传统的人工唱名
船舶自动识别系统(Automatic Identification System)简称AIS系统,是一种新型的数字助航系统,主要采用自组织时分多址SOTDMA方式实现信道接入和设备间相互通信等功能。该系统
学位
近几十年来,随着科学技术的进步,以计算机为核心的视觉图像处理领域得到了长足的发展。运动目标检测作为视觉图像处理领域的一个核心研究课题,在智能监控、医学和军事等多个领域
随着全球定位系统(GPS)在军事和民用方面的发展,人们对高性能GPS天线的要求不断增加。尽管许多通用的GPS天线能够覆盖单频带或者双频带,但对于设计和制作高性能多频带GPS天线仍
当今,计算机技术与网络技术得到了飞速地发展和普及,而用户对以多媒体通信为主体的网络通信的需求也越来越高。目前最流行的VoIP信令协议是SIP协议(Session Initialization P