基于Presto的游戏大数据分析系统的设计与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:shuo19871108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的快速发展,智能手机在各年龄段人群中普及,游戏行业也随之迅速发展。随着玩家群体用户量的不断扩张,游戏数据产生的速度也在日益增长,玩家在游戏中产生了海量且多样化的行为事件。如何从这些行为数据中快速挖掘分析其价值,也成为了大数据领域中重要的课题。基于上述背景,本文基于大数据计算引擎Presto设计并实现了游戏大数据分析系统。主要工作内容如下:一、本文设计并实现了一种基于Presto的实时分析大数据架构。单一的大数据架构已无法兼顾实时数据读写和灵活的OLAP即席查询等需求。本文创新地设计了Kudu-HDFS-OSS的大数据存储系统,通过冷热数据分离和迁移机制保证了系统的查询和分析性能。使用统一的数据视图封装三层架构中的数据,通过Presto实现了跨数据源的OLAP即席查询。二、本文根据游戏获客大量依赖互联网广告的背景,将互联网广告归因引入游戏大数据分析系统。在广告归因中,针对用户偏好导致的归因偏差问题,本文将用户偏好分解成静态属性和动态特征,提出了基于因果估计的归因算法CMCA。该算法通过曝光链路重加权模块和因果转化预估模块分别消除两种偏差,基于夏普利值的计算方式实现归因贡献评估。实验证明CMCA算法在转化预测上具有优越的性能。三、本文设计与实现游戏大数据分析系统的业务功能。在对游戏大数据分析业务进行需求分析后,本文详细设计了游戏大数据分析系统的业务功能,利用Presto、Springboot、My Batis等技术栈实现了用户数据采集、数据处理、冷热数据分离及业务数据展示等功能。本文最后还对游戏大数据分析系统进行了功能性和非功能性的测试,测试结果达到了系统设计的预期目标。本文的研究对于大数据系统的架构研究、游戏数据分析系统的设计、多渠道广告归因算法设计等方面有一定参考价值。
其他文献
在社会和经济发展过程中,人们的生活水平不断提高,空调成为人们生活和工作必不可少的电器,利用空调可以为人们营造舒适的环境。但是长期使用空调过程中,如果未能注入新的风量,空调运行时会对室内空气质量造成一定的影响,需要对空调系统实施管理措施,以便获得良好的空气质量,最终实现节能减排的目的。本文围绕新风量平衡室内空气质量和空调节能的秤杆展开讨论,为室内空气质量治理提供参考依据。
期刊
<正>磷酸氢钙(又称沉钙)作为饲料添加剂,可以补充畜禽生长所需的磷钙矿物质。饲料级磷酸氢钙对氟、砷以及重金属等对畜禽有毒有害元素含量要求严格,而我国磷资源主要存在形式是氟磷酸钙,其中氟含量
期刊
从医院的空气净化和防止感染的角度,以南昌市第一医院门诊大楼设计为中心,就维持医院内各部的温湿度、空气洁净度和通风换气、压力平衡等在空调设计中应注意的问题作出论述。并结合非典疫情,门诊大楼空调系统应做的应急措施。
期刊
广州白云站作为新时代铁路客站建设背景下站城融合枢纽的典型代表,在规划设计以及建设实施中均提出了多维联通配套设施、融合设计立体交通、大规模客站雨棚区域上盖开发等诸多新理念、新思路。为充分利用城市中心的土地资源,在铁路站场上方规划建设了大规模的上盖物业。本文结合广州白云站上盖建设的实际,从项目规划、设计创新、建设实施等方面进行总结分析,介绍站城融合枢纽上盖的新思路、新方式,为其他站城融合枢纽工程建设和
期刊
为解决铁路行业工程建设阶段现场资源调度难、生产情况实时把控难,以及紧急事件应变处置难等问题,提升施工各参与方对铁路工程施工现场情况的掌控分析和紧急情况的应急决策能力。以广州白云站铁路工程项目为实际背景,通过对项目管理各方实际调度需求的梳理分析和施工建设管理过程中涉及的多源影音数据归纳管理,研究私有云+公用端模式的多层架构体系(MVC)、5G技术、数据融合、BIM+GIS、全IP网络结构等关键技术以
期刊
大数据时代,随着公众网络安全意识的逐渐提高,网络隐私权在数字社会中的受重视程度日益提升。社交媒体领域的网络隐私安全是当前受公众诟病最多的产业领域,因此,以10款排名较靠前的休闲游戏类App为研究对象,以内容分析法和对比分析法从五个维度剖析和比较其网络隐私政策,明确网络隐私安全保护的薄弱环节和不足,提出如何通过完善自身网络隐私政策切实保障用户的网络隐私权,履行社交媒体平台应承担的网络隐私安全责任。
期刊
目的:探讨在冠心病老年患者护理中辅以个性化护理,对护理质量的影响。方法:试验者是2022年1月—2023年1月在医院治疗的冠心病老年患者88例,以入院时间分组,将接受常规护理指导的44例患者设为对照组,另一组设为观察组,患者总数为44例,护理方案为个性化护理,比对护理有效性。结果:观察组遵医行为评分高于对照组(P<0.05);观察组生活质量评分高于对照组(P<0.05)。结论:以个性化护理实施干预
期刊
目的 研究个性化护理应用于老年冠心病护理中对患者疗效的改善作用。方法 选择2020年1月至2022年1月我院收治的老年冠心病患者50例作为研究对象,随机分为对照组和观察组,每组25例,对照组采取常规护理方式、观察组对照组基础上进行个性化护理方式,比较两组遵医依从性、心理状态评分、总有效率以及生活质量。结果 观察组遵医依从性高于对照组(P <0.05);观察组护理后焦虑自评量表(SAS)和抑郁自评量
期刊
通过磨西剪切带硅质白云岩和千糜岩岩石化学特征研究 ,论证了千糜岩是由硅质白云岩经剪切变形和变质作用而形成的。由磨西剪切带中千糜岩质量平衡分析表明 :以 Ti O2 守恒为限制条件 ,该剪切带损失了 6 2 %的体积 ;且同原岩 (硅质白云岩 )相比 ,千糜岩有 Si O2 损失 ;指出各种形态的石英脉是 Si O2 经运移和聚集而形成的
期刊
本文以新时期铁路站城深度融合的发展理念为背景,以国内首座按照站城融合一体化设计的大型综合枢纽广州白云站为实例,介绍了项目的技术特点,详细分析了实现车站与周边城市设施无缝衔接,实施铁路站台上方大规模开发物业的实践经验。结合前期策划,业态分布、项目效益、安全措施,总结研究了实现铁路客站上盖开发的技术路径,提出了铁路车场上盖开发的关键节点以及应重点关注的事项。
会议