公共交通一站式数据中台构建与应用

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:liongliong478
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市智能化程度的推进,海量出行数据潜在价值急需挖掘开发,数据逐渐成为企业的重要资产,是赋能业务和推动产品创新的核心动力。以往由于缺乏整体战略性规划,导致数据在集成及使用上存在数据孤岛现象。其次,数据统计口径不一、数据标准不同等数据问题不断涌现,这些问题的存在使得后台系统无法快速响应前台业务,驱动业务创新与变革。数据中台将数据集中汇聚进行处理,构建可复用的共性能力和可共享的数据资产,从战略层面对数据进行管理,使数据真正成为企业资产。本文设计了公共交通一站式数据中台架构,利用其所提供的数据中台能力,基于深圳通刷卡数据实现数据全链路服务应用,最后针对性地对数据生成服务以及数据采集功能服务进行测试。通过从小场景高价值的数据集(即深圳通刷卡数据)入手,将数据中台能力应用于实际当中,快速验证了数据价值和数据中台能力。论文主要内容如下:(1)分析公共交通一站式数据中台功能需求和性能需求。基于功能需求和性能需求,软件选择上以Apache大数据生态开源软件为主,结合业内常用的一些大数据框架组件为辅,进行公共交通一站式数据中台整体架构设计。其整体基于数据平台能力、数据治理、数据挖掘与分析和数据服务应用四部分来进行设计,通过分层明确责任分工,使建设步骤清晰化和功能具体化,为业界提供了一种架构参考方案。(2)基于深圳通刷卡数据构建了数据全链路服务应用。在功能模块上,实现五个功能模块,分别是数据采集模块、离线数据分析模块、实时数据分析模块、数据治理模块和数据服务模块;围绕这五个功能模块,建立一站式数据全链路服务。在技术选用上,数据采集模块采用Flume实现多节点数据采集和汇总;离线数据分析模块采用HDFS+Spark+Hive实现数据仓库分层模型构建和数据分析;实时数据分析模块采用Kafka+Spark Structured Streaming实现实时数据指标计算;数据治理模块采用Atlas进行数据血缘构建;数据服务模块采用Ganglia监控Flume、Kafka-Eagle监控Kafka、DBeaver对Hive及My SQL进行离线/实时视图查询、Presto和Kylin进行即席查询以及Data Ease进行数据可视化大屏设计与实现。在架构设计上,本应用采用Lambda架构,通过流批分离处理实现复杂性隔离。整体框架设计具备一定容错性和鲁棒性,可较好展示一站式数据中台数据服务能力。(3)搭建数据中台测试环境并对相关功能进行测试,规划集群硬件环境和服务器各角色服务分配,在其上搭建软件服务,使其拥有通用平台服务能力,针对性地测试数据生成服务以及数据采集功能服务。
其他文献
研究目的:2017年中共中央、国务院印发了《关于加强和改进新形势下高校思想政治工作的意见》(简称《意见》)中指出:贯彻落实思想政治工作,其目的在于是培养一批德才兼备,能肩负历史使命,能做党的接班人的有用人才。在新时代的要求下,根据党的要求加强思政课建设。"课程思政"是高校进行思政教育的必要内容。体育也蕴藏丰富的思政教育资源,可以丰富和优化教学内容。高校公共体育课程在实施"课程思政"的引领下,通过构
介绍了高速切削加工技术的发展状况、优越性以及高速切削加工机床、刀具等,并对该技术的加工工艺要点进行了分析。
别号图是吴门画派特殊的绘画形式。别号图研究,对理解明代以吴门画派为中心的文人交往,不同身份文人的审美共识,以及吴地的居室生活理想具有重要价值。
<正>近年来小说已成为高考文学类文本阅读的常考文体,在高考小说阅读的复习中,教师常用的方法是围绕小说的情节、人物、环境"三要素"进行小说文体知识复习,然后进行小说阅读的强化训练。但这种"知识+训练"的复习模式,忽略了学生本身的认知能力与文学素养,并不能让学生很好地将知识转化为理解和鉴赏能力,学生在阅读小说时仍然普遍存在"读不懂""读不透"或者"答不准"的现象。
期刊
难加工材料的广泛使用对刀具的切削性能有了更高的要求。陶瓷刀具材料作为现代主流的刀具材料之一,有着良好的耐热性以及化学稳定性。Al2O3陶瓷硬度高,但抗弯强度与断裂韧性较差影响其发展。在Al2O3中加入碳化物等增强相对陶瓷材料的性能会有明显的改善。将Si C纳米颗粒加入Al2O3材料中可以细化晶粒、减少缺陷从而使材料的各项性能提高;c BN是一种超硬材料,热稳定性、耐磨性、导热性以及化学稳定性好,对
硬质合金刀具以其高耐热性、韧性等特点,在金属切削中具有良好的应用价值。分析金属切削原理,明确优化硬质合金刀具应用质量需要严格把控刀具的各项参数。具体加工中,技术人员应根据具体加工需求确定硬质合金刀具材料、结构及其前角、切削刃倾角等参数。为充分发挥硬质合金刀具的应用优势,提出合理选择切削工具材料、充分应用仿真技术、选择适度切削量、抑制与消除积屑瘤以及合理应用切削液等应用措施。
幼儿园开展的科学探究集体教学活动是让学生更多地了解日常生活中所涉及的科学知识,扩大幼儿的科学视野,并且最终能够运用科学知识参与创造和改造世界的科创之路。而幼儿园生思维发展处在初级阶段,处于认识世界的关键阶段,也正是因为这个原因,在幼儿园科学探究集体教学活动中要充分利用信息技术的作用,发挥学生的认识世界并且学会改造世界的意识。
<正>一、切削刀具国内外行业动态1.国际制造业复苏放缓,中国2022年3月份PMI为49.5%切削刀具主要是服务制造行业,从目前国内外动态来看:国际局势不明朗,制造业复苏放缓;国内1月PMI回落至50.1%,2月份为50.2%,3月份为49.5%;随着原材料价格大幅上涨,以及疫情带来的负面影响,造成供应链危机的风险加大,同时劳动力短缺,这些都将成为制约制造业复苏的关键因素。
期刊