论文部分内容阅读
车辆在线监管是指通过视频识别摄像头、GPS车辆定位装置、RFID车牌[5]等先进的前端车辆动态信息感知技术，集中汇集整个城市范围的车辆实时监测数据。城市级别的道路车辆与停车场车辆的监管，包括违章嫌疑车辆自动识别、车辆实时布控预警、特定车辆跟踪分析、实时交通路况及交通流信息服务、出行诱导及停车诱导服务、城市车辆综合分析等全方位的交通业务功能。同时，它还可为其它相关部门（如市政、环卫、公交等）提供实时车辆数据的共享服务，从而为解决大中型城市在机动车辆激增情况下所产生交通、治安、环境乃至更多的社会问题提供有效的应对手段。 为了满足车辆在线监管中提出的大规模车辆监测数据流的多样化实时处理需求，一方面需要采用分布式的并行计算架构来提升大规模车辆监测数据处理性能，另一方面还需为诸多不同的流式车辆监测数据处理任务提供有效的管理和运行支撑，以保障车辆监测数据处理任务高效性和可靠性。上述需求对并行计算架构下不同计算节点间的车辆监测数据处理任务的调度提出了较高的挑战，要求灵活、高效地实现任务调度，同时保障任务调度系统的扩展性和可用性。针对这一挑战，本文提出了一种大规模数据流处理任务调度方法，并设计与实现了相应的大规模数据流处理任务调度系统。本文的主要贡献如下: (1)针对大规模数据流处理任务调度系统可扩展的需求，设计了一种分布式层次式调度结构。该结构采用了分散调度负载的研究思路。实验表明，本文提出的调度方法处理性能在计算需求范围内随调度节点数量的增加而接近线性增长。 (2)针对大规模数据流处理任务调度系统灵活高效的需求，在层次式调度结构基础上，提出了一种动静结合的大规模数据流处理任务调度的方法。实验表明，本文提出的调度方法使得调度结果随计算节点数量的变化而变化，且在调度节点没有冗余的情况下，对系统实时性的影响可忽略。 (3)面对车辆在线监管系统高可用的需求，设计了一个分布式集群协调器。该协调器基于开源工具ZooKeeper开发，为集群的可扩展性、可用性提供保障，也为任务的调度提供支撑。在此基础上，实现了一个集群web管理平台。