Python与Spark集群在收费数据分析中的应用

来源 :中国交通信息化 | 被引量 : 0次 | 上传用户:xinyang101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智慧交通时代的到来,高速公路运营管理越来越依赖于大数据分析,如何有效利用现有硬件资源,更好地满足日益增长的数据分析需求是高速公路信息化建设中的重要课题。本文通过对数据库查询、Pyhon内存计算和Spark集群的效率实测分析,将可弹性扩展的内存计算架构应用于高速公路数据分析,为运营太教据分析提供了平台基础。
其他文献
本文提出了一种基于动态检测技术的智能ETC车道系统。该系统采用8个地感线圈和两台独立工作的车道天线的布局模式,通过合理的车道布局和巧妙的天线控制技术,在避免通信盲区的
经颅磁刺激(tanscranial magnetic stimulation,TMS)是一种非侵人性神经系统检测和治疗技术.它利用产生的感应磁场.透过头部组织。在神经细胞引起的感应电势以激发神经系统的反应
[摘要]论文介绍了Mxf求和与积分恒等式的发现、特点及其检验和证明指出:一般恒等式是指自变量的任意变化都成立的等式;Mxf求和恒等式是指在以顺序自然数为节点的任意区间上,有界函数f(x)的结构形式的任意变化都能成立的等式:Mxf积分恒等式,是指在任意有理数构成的区间上,有界连续可积函数f(x)的结构形武的任意变化都能成立的等式。  [关键词]函数;求和;积分;恒等式
本文以岩后隧道交通事故为切入点,总结了隧道营运安全管理的经验与教训,提出解决对策,希望能够引起有关部门重视,以提升隧道营运安全管理水平。当前,国家高速公路联环成网,其
摘要 本文针对当前高职教育中学生对高等数学课程的学习积极性不尽如人意的现象作了认真的分析,提出高职数学的教学要实施分模块教学,服务专业需求、加强教学的针对性。加强数学思想方法的培养等方面入手提高学生的积极性。  关键词 高职;积极性;模块教学;数学思想 本文
本文通过对河南省联网中心视频监控系统改造的探讨,实现对河南省交通运输行业运行状况的全面监测,为交通管理、运营、服务各个层面的重大决策提供强有力支持,提升河南省交通
数学情境是产生数学概念,发现数学问题,提出数学问题和解决数学问题的背景、前提、基础和条件.创设数学情境,就是呈现给学生刺激性数学信息,引起学生学习数学的兴趣,启迪思维
随着国内公路工程建设日臻完善,公路的日常运营、养护逐渐成为工作的重点。本文从公路日常养护工作的问题出发,重点分析了养护管理工作的实际需求,提出了养护物资动态仓储管
“十二五”时期,是我国交通运输业发展进程中极不平凡的五年,实现了交通运输发展阶段由“总体缓解”向“基本适应”的重大跃升,为我国由“交通大国”迈向“交通强国”奠定了坚实
通过分析高速公路机房的四大应用场景,提出针对不同的应用场景采用不同的一体化解决方案,并着重介绍了FusionModule800和FusionModule2000两种一体化机房解决方案。"十三五"期