论文部分内容阅读
无线电环境地图可以直观地反映出真实的无线电环境状态,为无线网络服务区域内的用户提供当前无线电环境信息和历史信息,也为无线资源优化提供重要的参考依据,是一种无线资源监管的重要手段。现有的无线电环境地图构建所需的数据主要通过专门的监测设备或部署传感器节点收集而来,这种数据收集的方式具有节点部署成本高、扩展性不强等缺点,构建的无线环境地图大多是针对于小范围的、某个特定应用的。为了构建更为完善、覆盖范围更广的无线电环境地图,迫切需要合适的数据收集方案,以及满足海量数据处理、易扩展、高性能的无线电环境数据处理系统。移动群智感知是一种适合大范围、海量的无线电环境数据收集的新型方案,为了处理通过移动群智感知方式收集到的海量无线电环境数据,本文设计并实现了一种基于无线电环境地图数据处理系统,以达到构建大规模无线电环境地图的目的。本文采用分层设计方法,提出了无线电环境地图数据处理系统的总体架构,包含数据导入层、数据处理层和数据可视化层。其中,数据导入层负责将原始数据导入到数据处理层;数据处理层以Hadoop分布式处理框架为中心,完成海量无线电环境数据的清洗过滤、融合和统计分析;数据可视化层主要负责调用网络地图API,将位置信息进行映射,对无线电环境地图进行可视化展示,方便用户直观地查看和管理。为了提高系统的性能,本文对Hadoop集群进行了参数调优;针对Hadoop存储海量无线电环境数据小文件效率不高的问题,本文设计了一种基于位置信息的海量小文件存储优化方案,并验证了它的有效性。目前,无线电环境地图数据处理系统的基本功能已经开发完成,系统测试结果表明,该系统能够实现海量无线电环境数据的处理和可视化展示,并且系统的稳定性达到设计目标。