论文部分内容阅读
针对各种场景下的海量终端的部署,本文设计了一套海量数据采集与实时分析系统,具体在数据采集模块,通过借助Kafka消息队列,实现数据的高并发接入;在数据分析模块,借助大数据流处理系统Storm,在保证高可靠性的前提下,实现数据的实时处理,并通过相应的优化设计,解决海量终端接入网络时的高并发访问与数据处理需求;通过可视化设计以及实验验证本文方法的有效性,系统具有低延迟,高吞吐,可拓展等特点,能够满足车联网海量数据处理要求,具有很强的实用价值,目前本文提出的方法已经应用在实际场景中,为20多万台北斗定位终端提供