论文部分内容阅读
多传感器数据融合技术经过多年的研究与发展已经取得了丰硕的理论与应用成果,计算机技术、通信技术和数据处理技术等相关技术的进步为多传感器数据融合技术的发展提供了新的动力。随着传感器类型的增加、传感器部署区域的扩大,多传感器数据融合技术的应用场景也越来越多,加上现代数据融合的算法更加复杂,新型传感器感知数据的结构更加多样,多传感器数据融合系统在并发性和扩展性上将逐渐受到限制,传统的集中式数据融合系统面临着严峻的性能考验,只有通过提高并行处理能力,才能从根本上解决这个问题。大数据处理领域在最近几年有了长足的发展,其核心思想是,把复杂的运算过程分散到多台处理机上,通过分布式计算的方式提高处理能力。把多传感器数据融合技术与分布式技术相结合,设计一套具备可扩展性和高并发的实时数据融合策略,更好地为数据融合算法服务,是一件具有重要意义的课题。本文借助经典的数据融合理论和算法,结合本课题的研究背景和笔者在实验室项目中的研究工作,设计了一套简单的基于Storm实时计算引擎的多传感器数据融合系统架构。Storm是一种类似于Hadoop MapReduce的分布式计算引擎。Storm和Hadoop最主要的区别是Storm是一种实时的流式计算引擎,而MapReduce作为一种离线计算框架无法做到实时处理。Storm的流式结构特点适合将其与数据融合算法结合,以分别实现数据融合系统中各个模块的功能。由于本文提出的基于Storm引擎的分布式多传感器数据融合系统是在应用层上将各个功能模块以分布式的形式部署在集群环境上执行融合算法与策略的,这与传统的数据融合技术在理论和实际应用中都存在一定的差异。本文的主要研究工作是:首先,分析了多传感器数据融合技术的发展趋势和遇到的问题,提出了采用分布式系统提高多传感器数据融合系统的并行处理能力的思路;然后,调研了Storm引擎的特性,作为分布式实时流式计算引擎可以满足数据融合系统在接入大规模传感器后对性能和扩展性的要求;随后,结合数据融合技术的结构模型和功能模型,在Storm作为系统运行框架的基础上设计了基于Storm的分布式多传感器数据融合系统架构,并分别叙述了每个模块的功能;最后,在Storm集群环境上运行多传感器数据融合系统,验证了Storm作为实时流式计算引擎可以很好地为数据融合算法服务。