基于Hadoop的百度游戏数据平台的设计与实现

被引量 : 7次 | 上传用户:gaoaiping0322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
百度游戏数据平台是百度游戏事业部的基础数据平台,主要实现百度游戏事业部基础数据的抽取、计算、统计、展示等功能。百度游戏事业部自成立以来不断发展壮大,取得了令人瞩目的成绩。随着部门平台的不断增加、数据量的不断增长、数据类型的不断扩展,对数据统计和分析的需求不断加剧。数据蕴藏着巨大的价值,游戏玩家的注册、登录和付费等数据可以为部门的决策和战略提供依据。基于此种情况,提出了百度游戏数据平台的设计与开发需求,计划建设一个基于维度模型的大数据多维分析系统,希望能够满足市场运营人员的各项数据统计需求,提供及时、准确、全面、多维度的数据统计功能。由于基础数据来源复杂、数量庞大,本项目利用Hadoop分布式架构,提供一个完整的数据解决方案。项目从数据流上可划分成两大部分,基于Hadoop的基础数据系统和基于J2EE(Java2Platform Enterprise Edition, Java2平台企业版)的数据平台系统。其中,基础数据系统利用Hadoop的计算能力,完成数据ETL(Extraction-Transformation-Loading,数据提取、转换和加载)和数据维度计算;数据平台系统根据数据报表需求,实现数据计算、存储和查询、展现功能,并实现了定制报表、定时任务配置和多层级覆盖的权限管理等特色功能。数据平台包括六个部分:今日概况、定制报告、市场推广、运营统计、配置管理和配置常用报表,每个部分根据需求又细分为各个子模块。本文论述了百度游戏数据平台的需求分析、架构设计以及详细设计和最终实现。通过对系统的需求分析与设计,本人参与设计和开发了基础数据的ETL模块和数据平台定制报告模块,并独立完成了数据平台的今日概况、任务调度管理、用户管理、角色管理、权限管理、主力游戏管理和游戏分组管理模块的设计和开发。目前系统已经上线投入使用,提供了灵活多样的数据报表查询功能,覆盖了部门85%以上的数据需求,极大地提高了数据反馈效率,并释放了数据人力,获得了部门领导和同事的一致好评。
其他文献
石墨烯是由sp2方式杂化的C-C键排列而成的单原子厚度蜂窝状晶体结构,具备极其优异的力学、热学和电学性能,是目前发现最硬的材料,将来有望在纳米机械电子(NMES)、纳米电子和纳米
目的:肛隐窝炎即肛窦炎,是肛门瓣及肛隐窝处发生的急慢性炎性病变,临床主要症状是肛门部疼痛、坠胀或有排便不尽感,肛周湿润,或有分泌物流出,肛隐窝凹陷、充血等,并因患者病情的严重
为满足卫星通信中的双频段、双极化、小型化的需求,本论文设计了Ka频段双频段双极化共口径波导阵列天线,其中包括Ka频段波导喇叭、正交模耦合器、波导馈电网络、波导双工器、带
研究背景炎症性肠病(inflammatory bowel disease IBD),包括溃疡性结肠炎(ulserativecolitis,UC)和克罗恩病(Crohn’s disease,CD),是一类以结直肠黏膜及黏膜下层非特异性炎症为
文章通过计算分析、判断走锚的可能性,探究走锚的根本原因,并针对性地提出了应对措施。
在城市基础设施建设体系中,市政道路给排水是一项重要的组成部分。作为这项工程的监理人员,应该从施工准备环节到施工过程采用科学性方法对其进行控制和管理。这样才能达到理
农村在中国历来发挥着安天下,稳民心的重要作用。农村稳定,则国家稳定;农村发展,则国家发展。新中国成立以来,农村社会一直是党和政府关注的焦点和热点。在建设社会主义新农村和全
金素月(1902—1934),韩国人民最爱戴的诗人之一。本名金廷!,生于北朝鲜平安北道龟城一个封建农村家庭。诗人从19世纪20年代开始发表诗歌,主要以《开辟》为舞台,发表了以《金草
期刊
本文在对煤化工装置大型塔器的安装流程及方法介绍分析基础上,结合甲醇生产装置大型塔器安装中存在的问题,对其安装质量控制措施进行研究,以期为有关实践及研究提供参考。
随着我国城市化进程的推进,大量的青年人口向大中型城市转移并选择在城市定居,他们的父母跟随子女或其他亲属离开家乡迁入城市成为随迁老人。他们处于陌生的城市中,在重识城