论文部分内容阅读
百度游戏数据平台是百度游戏事业部的基础数据平台,主要实现百度游戏事业部基础数据的抽取、计算、统计、展示等功能。百度游戏事业部自成立以来不断发展壮大,取得了令人瞩目的成绩。随着部门平台的不断增加、数据量的不断增长、数据类型的不断扩展,对数据统计和分析的需求不断加剧。数据蕴藏着巨大的价值,游戏玩家的注册、登录和付费等数据可以为部门的决策和战略提供依据。基于此种情况,提出了百度游戏数据平台的设计与开发需求,计划建设一个基于维度模型的大数据多维分析系统,希望能够满足市场运营人员的各项数据统计需求,提供及时、准确、全面、多维度的数据统计功能。由于基础数据来源复杂、数量庞大,本项目利用Hadoop分布式架构,提供一个完整的数据解决方案。项目从数据流上可划分成两大部分,基于Hadoop的基础数据系统和基于J2EE(Java2Platform Enterprise Edition, Java2平台企业版)的数据平台系统。其中,基础数据系统利用Hadoop的计算能力,完成数据ETL(Extraction-Transformation-Loading,数据提取、转换和加载)和数据维度计算;数据平台系统根据数据报表需求,实现数据计算、存储和查询、展现功能,并实现了定制报表、定时任务配置和多层级覆盖的权限管理等特色功能。数据平台包括六个部分:今日概况、定制报告、市场推广、运营统计、配置管理和配置常用报表,每个部分根据需求又细分为各个子模块。本文论述了百度游戏数据平台的需求分析、架构设计以及详细设计和最终实现。通过对系统的需求分析与设计,本人参与设计和开发了基础数据的ETL模块和数据平台定制报告模块,并独立完成了数据平台的今日概况、任务调度管理、用户管理、角色管理、权限管理、主力游戏管理和游戏分组管理模块的设计和开发。目前系统已经上线投入使用,提供了灵活多样的数据报表查询功能,覆盖了部门85%以上的数据需求,极大地提高了数据反馈效率,并释放了数据人力,获得了部门领导和同事的一致好评。