基于Hadoop的票务分析系统设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xiaodixi000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,我国高度重视大数据对于社会经济发展的地位和作用,充足的政策支撑使得大数据技术与应用得到了显著的发展。与此同时,在线票务得益于移动互联网的普及,业务规模稳定增长,对产生的海量数据进行二次开发分析,为决策提供数据支撑,激发商业模式创新,催生新的业务增长点,最终占据更多的市场份额,成为各大互联网公司的重要驱动力。本文以某公司实际项目为背景,设计并实现了基于Hadoop的票务分析系统。该系统为在线票务各业务线提供了全流程的分析能力,有效支撑日常运营与决策。本文按照软件工程的思路,首先叙述票务分析系统的背景和重要意义,针对分析工作面对的多维业务、异构海量数据以及不同时效性要求,给出以Hadoop生态为主体的技术解决方案。其次,结合角色和用例图,给出了系统的功能性需求和非功能性需求,包括用户行为日志与票务业务数据的数据采集功能、首页驾驶舱、电影票、演出票、广告和会员营销的实时与离线分析功能、结果可视化展示功能以及用户管理功能。随后通过总体设计,分层确定系统架构,自底向上划分为数据存储层、数据采集层、数据分析层和Web服务层。数据存储层以HDFS、MySQL和Redis完成系统的数据存储与疏通,数据采集层包含用户行为日志数据采集和票务业务MySQL数据采集,数据分析层使用Spark进行票务指标实时与离线计算,Web服务层作为系统访问交互界面,进行结果可视化展示,并提供用户管理的能力。针对票务多维度的业务,设计了五层的数据仓库,提高数据治理能力。最后对票务分析系统进行了详细的设计,确定各功能时序图、流程图、数据模型关系并进行编码工作,完成票务分析系统的建设。本论文最终完成了票务分析系统的全部工作,其独立运行为业务人员提供了全流程的业务数据管理与直观的多维分析能力,有效提高了工作效率,是票务业务实施和大文娱体系建设的得力保障。
其他文献
近年来,随着容器技术的迅速发展,将容器技术应用到智慧城市等概念逐渐成为研究热点。本文以已有的智慧管廊微服务架构为基础,设计出基于改进的Kubernetes容器编排框架的智慧管廊容器云平台,并实现了轻量级的容器镜像的构建、多用户层级容器管理监控告警服务等功能。同时为了应对中小规模容器集群中容器调度耗时,影响服务性能等情况,本文从容器调度队列、启发式调度算法等层面提出了一种基于蚁群算法的容器调度器设计
随着移动通信技术发展到第五代,虚拟/增强现实、自动驾驶汽车、触觉互联网、物联网等新的场景和应用不断涌现,导致人类社会对通信、计算等资源的需求大幅增加,对时延的要求也更为苛刻。为了满足上述场景和应用的各类需求,学术界提出了移动边缘计算(Mobile Edge Computing,MEC)技术,并持续推动技术应用。然而MEC的安全性阻碍了 MEC技术的发展和应用:边缘节点具有脆弱性和复杂性,导致传统安
当前时代飞速发展,众多新兴产业应运而生,随着人民物质生活水平日渐提高,人民群众对于精神文明的需求日渐高涨。另一方面,当前社会中生活节奏呈现出极度高速化的特点,各年龄段人群的压力与日俱增,生理心理健康两手抓的呼声日渐激烈。心理健康水平作为确保个人生活品质的重要指标越发被重视,合理评估个人心理健康水平,为有需求者提供互联网时代下的心理咨询服务是符合时代规律的一大需求。智能移动终端目前普及率极高,开发可
随着互联网信息技术的迅猛发展,推荐系统帮助用户快速、精准地寻找所需和所感兴趣的物品(item),逐渐渗透到人们的衣食住行中。推荐系统中的音乐、商品、法规等物品和类目之间常常具有分层结构,物品从属于类目(category),子类目又从属于父类目。为了针对具有这种特征的物品设计和实现推荐系统,本论文在相似推荐和个性化推荐这两个工程中的实际应用场景下,分别挖掘物品的分层结构信息。主要工作内容如下:(1)
随着计算设备的发展,人机交互领域受到广泛关注。三维显示作为一种可以显著提高认知和交互效率的显示方式,是未来显示领域的发展方向。近年来,裸眼三维显示越来越受到人们的关注,它不需要任何助视设备便可以为人类提供自然的三维图像。然而,目前大多数研究都集中在裸眼三维显示器的显示性能提升方面,而缺乏对其认知效能的评估和对其人机交互行为的分析。因此,为提升裸眼三维显示设备的空间场景认知理解效率,设计更加高效的三
随着互联网技术的发展,每天都会产生海量的数据,而人们也从信息匮乏的时代跃迁到信息过载的时代。推荐系统作为用户与数据提供者之间的桥梁,缓解了信息过载的困境。它能够从用户的行为模式以及其他辅助信息中挖掘出用户的兴趣并为用户推荐信息。另外,随着社交媒体的发展,用户通过微博、微信等社交平台产生丰富的交互关系,如关注、转发、信任等,从而使得用户之间构成了一张巨大的社交网络。同时,用户对信息的偏好容易受到其在
超分辨率算法的目标是将低分辨率的图片重建出高分辨率图片。现实生活中的设备在精度上的不足,导致产生的图片往往无法满足人们对分辨率的需求,例如医学成像设备、遥感卫星、监控设备等。为了解决这个问题,一个解决方法是提升设备的精度。然而这种方法不仅成本较高,而且技术工艺复杂,不利于推广使用。因此有必要利用算法生成高分辨率图片。超分辨率算法需要解决以下几个问题。首先是如何解决图片种类繁多、物体尺寸各异的问题;
近年来,云计算凭借其按需使用、按量付费的特点,以及通过虚拟化技术等完成硬件资源和软件资源的融合,形成了资源池并提供统一调度接口为用户服务,极大地降低了成本并提升了易用性。基于超融合架构的云计算采用分布式存储,在一个单元设备内同时具有信息网络、信息存储以及虚拟化等诸多的资源和技术,降低服务器架构管理难度且多单元设备借助网络聚合来实现其自身模块化横向的扩展,已成为云计算架构的主流。然而,非法用户越权获
图像生成是计算机视觉中的研究热点,如何提高生成图像的真实性和多样性,以及如何降低硬件资源使用和模型存储大小使得更加有利于模型落地,是图像生成算法的研究重点和难点。而且,在实际应用中,许多其他任务与图像生成任务紧密相关,利用生成的图像可以降低数据获取成本,生成图像的质量直接影响其他任务的表现。本文的目的就是提高图像生成算法生成图像的真实性和多样性,降低硬件资源使用和模型存储大小、缩短训练和测试时间,
自旋玻璃的正确描述一直是理论物理中的一个难题,被认为与重整化群(RG)流中混沌的出现密切相关。为了实现这种混沌行为,以前的工作提出了具有复杂或非现实交互作用的模型。在本文的研究中,我们发现,只要保持铁磁和反铁磁相互作用之间的竞争,常用的具有长程关联作用的Potts模型可以在大参数范围内很好地完成这项工作。通过在层级晶格中添加反铁磁的长程关联作用这种简单性的操作,可以观察到混沌的出现敏感地依赖于层级