面向交管大数据分析的框架设计及业务模型调度优化研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:javajnihook
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术和现代信息产业的飞速发展,交通管理部门采集数据的渠道越来越多,数据量越来越大,数据种类繁杂,如何在海量数据中通过分析研判和数据关联碰撞,挖掘有价值的潜在信息,辅助交管部门对城市交通做出准确的决策是当下亟需解决的问题。交管数据往往与空间属性相关,而传统分析型数据库大都缺乏空间分析功能;传统GIS平台虽然具有较为强大的空间分析能力,但受限于单机架构,单机处理性能成为瓶颈,时空大数据的处理效率低下;因此在调研了传统大数据分析工具和交管数据特点的基础上,选择了Clickhouse分布式列式数据库和Spark计算引擎来构建大数据分析框架,通过构建业务模型的方式为交管部门提供业务分析能力。本文在分析了Clickhouse和Spark各自的优劣后,以虚拟表为桥梁,构建了Clickhouse和Spark混合计算框架,通过Clickhouse提供丰富的分析函数、高效的读写能力,通过Spark RDD的可拓展性提供空间分析能力,并详细设计了交管业务模型中业务算子的结构和处理流程。在混合计算框架的基础上,结合交管数据特点和实际分析需求,针对业务模型的创建、定时执行分别进行了调度优化设计。通过共享应用池对业务模型的创建进行了并发优化,在保证用户体验的基础上,服务更多地分析人员;对于业务模型的定时执行需求,从业务模型的整体和算子层面分别设计了结果集时序分析优化方法和基于DAG的分支优化方法,旨在减少冗余计算,提高业务模型分析效率。在混合计算框架的基础上,分析了交管动态数据的特点,针对轨迹数据、卡口拍照数据等同步方式为增量追加的数据表通过增量计算技术进行计算优化。提出了增量计算的概念与模型,并在数据库层面进行了增量计算设计;根据增量计算合并函数的不同,将业务算子分为了Append型算子和Update型算子,并对典型增量算子的计算原理进行了详细介绍;最后从增量计算框架层面出发,介绍了SQL逻辑合并和缓存规则的相关设计。实验结果表明,在数据规模较大时,混合计算框架的计算效率相对于传统数据库提升明显;基于DAG的分支优化方法对于业务模型的定时执行具有一定的提升效果;增量计算从根本上减少了参与计算的数据量,在数据规模较大时能够明显地缩短计算时间,计算效率显著提升。
其他文献
核酸串联扩增分析是指以以核酸分子作为元件构建功能模块的一类新兴的传感分析技术,一般由靶标捕获识别和信号串联扩增输出的两个功能模块组成。并且对于不同的靶标有不同的捕获识别和信号扩增输出方式。许多生物标志物包括短链核酸,有机小分子,低分子量蛋白质等,在生命体和细胞中参与多种生化反应和细胞代谢的调节过程,其表达水平异常与多种疾病相关,因此可以作为核酸串联扩增分析领域的靶标分子。但是生物标志物在细胞和组织
学位
蛋白由单体向纤维体的转化会导致多种淀粉样蛋白沉积性疾病,如阿尔兹海默病(AD)、二型糖尿病(T2D)等。目前,已有多种蛋白纤维化抑制剂被开发,如小分子、多肽等。如今,纳米材料在生物领域的应用越来越受到科学家的青睐。碳点作为一种新型的碳纳米材料,因其独特的光致发光性质,高的生物相容性,表面易修饰以及潜在的跨血脑屏障(BBB)的能力,使其在蛋白纤维化方面有很好的应用前景。胰岛素被发现可以调节神经元活性
学位
六氟化硫(SF6)因其稳定的化学性质和优秀的绝缘及灭弧性能而被广泛应用于高压绝缘设备中。但SF6具有超强的温室效应,被列为六种限制排放的气体之一,寻找合适的SF6替代气体成为亟待解决的关键问题。基于杂化分子设计和建立构效关系的量子化学计算的研究结果,三氟化硫氮是一种非常具有研究潜力的新型替代气体。本文探究了三氟化硫氮的实验室合成方法及反应机理,对制备三氟化硫氮的工艺条件及反应规模进行了优化和放大。
学位
近年来,中国提高了环境保护水平,要求工业废水不得从各企业直接排放。因此,为了保证企业生产的正常运行,必须实现水的循环利用。目前的方法是将企业各股废水经过常规工艺处理后补充到对水质要求较低的工业用水系统中。如可以通过改变水体的p H值和絮凝沉淀来减少水中的成垢阳离子(例如钙离子,镁离子等)的量,但是没有有效的方法来降低水中阴离子(例如氯离子)的含量。当水再利用时,水中各种离子会不断富集,此时水中氯离
学位
零维纳米材料石墨烯量子点(GQDs)吸引了越来越多的关注,由于GQDs具有石墨烯出色的化学物理特性,在催化、柔性器件、传感、成像和诊断学方面有着新颖的应用。又因为GQDs纳米级别的尺寸,使其具备量子约束效应和边界效应,而具有光致发光(PL)的特性,吸引了许多对此感兴趣的研究人员对其在生物医学领域的开发应用。尽管现在很多的研究都专注在发掘GQDs的光学性质上,但是纳米材料的生物相容性仍然是重要的研究
学位
目前耐药细菌引发的感染已经成为人类健康最严重的的威胁之一。由于抗生素的过度使用,导致细菌耐药性的产生,这使得单独使用传统抗生素药物的治疗效果大大降低。此外,再加上耐药性更强、致密的细菌生物膜的形成,导致抗生素无法穿透生物膜,治疗效果再次受限,这使得细菌感染治疗变得更加棘手。而细菌产生耐药性的主要原因归结于单一药物的抗菌机理,即过度、长期地使用某一种药物,往往需要使用更大的剂量,最终会导致细菌对这种
学位
中国充分把握新一轮科技革命和产业变革新机遇,走出了一条具有中国特色的数字经济发展道路。中国数字经济发展经历了技术孕育阶段、爆发增长阶段、融合协同阶段和创新发展阶段,走了一条从模仿与本土化改造到自主创新、优先发展消费互联网、以规模优势“反哺”创新、构建以数据为关键要素的数字经济发展道路,为全球数字经济发展创造了中国经验。数字经济发展的“中国路径”以需求端为基础,超大规模市场为数字经济发展提供市场需求
期刊
自2004年石墨烯(G)被成功制备以来,二维材料的发展可谓是如火如荼。到目前为止,二维材料家族的成员已经十分庞大了,并且还处于火热发展阶段。二维材料在电学、光学、热学和力学等领域具有众多独特的性质,为催化、能源、集成电路以及量子通信等领域的发展起到了推动作用。但是,本征结构的原始二维材料在未来是不可能满足多功能新兴应用的要求。因此,对二维材料性能的进一步调控在多功能设备中至关重要。大量的研究表明,
学位
高精度道路地图是自动驾驶领域中不可或缺的数据支撑,为自动驾驶系统提供准确可靠的车道级路网数据。随着我国社会经济的飞速发展,城市建设步伐加快,大量的道路存在新建、改建的情况,为了保证车道级路网数据在自动驾驶系统中应用的可靠性,需要对既有车道级路网数据进行及时有效的更新。目前车道级路网信息更新的方式是利用传统测量采集车对需要更新的区域进行数据采集,人工处理采集数据后更新至既有路网数据库中,这种更新方式
学位
目前,正渗透(FO)技术在发电、脱盐、污水处理等领域都存在着巨大的应用潜力。FO具有居多优势,但也面临着很多问题,其中一个就是高性能FO膜的开发。本实验是以目前应用最多的薄层复合聚酰胺正渗透(TFC FO)膜为基础,通过对TFC膜进行改性来制备性能更高的TFC FO膜。传统的TFC FO膜由聚酰胺(PA)活性层和多孔支撑层组成,是由间苯二胺(MPD)和均苯三甲酰氯(TMC)在聚砜(PSf)底膜表面
学位