基于Spark和Hive的网易移动大数据支持平台的设计与实现

来源 :北京交通大学 | 被引量 : 9次 | 上传用户:Leechen17008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于互联网产品来讲,精准的决策和运营决定着产品的兴盛与衰亡。目前,互联网产品的决策和运营主要依靠于产品团队和运营团队人员的经验,但是真正可以做到精准决策的人才有如凤毛麟角。传统的运营手段,不仅烧钱而且存在着用户粘性低等问题。网易作为互联网的先行者,各个业务线都拥有丰富的数据,但是各业务线的数据分析工作零散,适用范围狭窄,缺乏通用性。因此公司迫切需要一个平台整合内部的数据资源,为相关部门统一提供精准的数据分析支持服务。在这一背景下,移动大数据支持平台应运而生,为克服传统决策和运营手段的局限性、提高公司资源复用提供了良好的解决方案。本平台基于分布式开发组件开发,所运用到的组件有Kafka、HDFS、Spark、Hive、HDFS Connector 等,同时结合 Spring、MyBatis 等 Java Web 框架技术进行系统后台服务的支持。平台由基础架构子系统、数据分析子系统和数据挖掘子系统组成。实习过程中,本人主要负责数据分析子系统的设计与开发工作,主要包括用户行为分析、交易行为分析、页面热力图、路径分析和辅助服务5个模块。其中,前4个模块的功能实现由数据分析部分和后台服务部分协作完成,辅助服务模块的功能实现由后台服务部分独立完成。数据分析部分使用大数据分析技术,后台服务部分使用Java Web技术。本论文中首先介绍平台开发过程中所用到的关键性技术,其次从整体上对平台的功能进行介绍,着重分析了本人负责模块的功能需求,并对系统的非功能性需求进行了阐述。然后介绍了系统的技术架构设计、功能架构设计和数据库设计。接着重点介绍了平台的详细设计与实现过程,并展示了平台各模块的实现效果图。最后对平台使用的测试与验证方法进行了说明。移动大数据支持平台为网易旗下的众多产品提供了简洁方便的产品接入点和精准的数据分析支持服务,提高了公司内部数据资源的复用性,提升了产品、运营等相关部门的工作效率。同时,为数据挖掘团队提供数据源,帮助他们进一步挖掘数据价值,提高部门和公司的收益。
其他文献
规范水行政执法,实行最严格水资源管理制度,是加快推进生态文明建设的迫切需要。本文对新时期做好水政执法工作的对策进行了研究。
传统社会中不会产生恐婚族,因为传统的"家本位"文化使个人的婚姻选择必须服从于家庭利益;传统婚姻受到各种亲缘与地缘关系的监督与限制;个人在婚姻面前没有选择压力,婚姻自主
或有负债是财政风险的核心内容之一,正确认识或有负债是有效控制财政风险的关键。本文将政府作为一个经济主体来看待,从经济学角度分析了地方或有负债的内涵、演化机理及其负
花鼓灯是流传在安徽淮河流域的舞种,也是汉族民间舞蹈中最具代表性的准自然舞蹈之一。作为以自娱自乐为特征的民间舞蹈,安徽花鼓灯在长期的流传和繁衍中自发融合社会因子和自然
依法治国是时代的主旋律,依法行政是政府工作的生命线。作为依法行政重要组成部分的工商监管执法部门,必须进一步增强法意识和依法行政的正确理念,理性应对新形势、新任务和
中国传统的合餐饮食习惯在今年非典期间显露了它的一些弱点 ,为此 ,餐饮经营者们纷纷提出了分餐制。本文系统论述了中国古代分餐制的存在形式及特点 ,分析了分餐制的现实意义
目的以三嵌段聚酯聚乙二醇共聚物(PLGA-PEG-PLGA)为材料制备鱼藤酮纳米凝胶。方法采用薄膜分散-水化法制备鱼藤酮纳米凝胶,并分别对其粒径分布、药物分散状态和药物释放特性等
银行业竞争和科技的进步,为贷款异地流动创造了条件。规模不断扩大的异地贷款在促进银行业务发展的同时,缓解了贷款流入地区经济发展所需资金的问题,对促进贷款流入地区经济
清华创新中心是清华科技园区内的主要建筑之一,用于出租办公。介绍了创新中心的平面布置,立面处理手法,以及新材料,新技术的运用。
随着石羊河流域重点治理近期目标的实现及后续工程的全面快速推进,原有的水资源配置与管理模式已不能满足经济社会发展的要求。主要针对石羊河流域区域水资源现状、供需水情