基于Storm引擎的物联网异构数据融合系统的设计与实现

被引量 : 20次 | 上传用户:lsq87810
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多传感器数据融合技术经过多年的研究与发展已经取得了丰硕的理论与应用成果,计算机技术、通信技术和数据处理技术等相关技术的进步为多传感器数据融合技术的发展提供了新的动力。随着传感器类型的增加、传感器部署区域的扩大,多传感器数据融合技术的应用场景也越来越多,加上现代数据融合的算法更加复杂,新型传感器感知数据的结构更加多样,多传感器数据融合系统在并发性和扩展性上将逐渐受到限制,传统的集中式数据融合系统面临着严峻的性能考验,只有通过提高并行处理能力,才能从根本上解决这个问题。大数据处理领域在最近几年有了长足的发展,其核心思想是,把复杂的运算过程分散到多台处理机上,通过分布式计算的方式提高处理能力。把多传感器数据融合技术与分布式技术相结合,设计一套具备可扩展性和高并发的实时数据融合策略,更好地为数据融合算法服务,是一件具有重要意义的课题。本文借助经典的数据融合理论和算法,结合本课题的研究背景和笔者在实验室项目中的研究工作,设计了一套简单的基于Storm实时计算引擎的多传感器数据融合系统架构。Storm是一种类似于Hadoop MapReduce的分布式计算引擎。Storm和Hadoop最主要的区别是Storm是一种实时的流式计算引擎,而MapReduce作为一种离线计算框架无法做到实时处理。Storm的流式结构特点适合将其与数据融合算法结合,以分别实现数据融合系统中各个模块的功能。由于本文提出的基于Storm引擎的分布式多传感器数据融合系统是在应用层上将各个功能模块以分布式的形式部署在集群环境上执行融合算法与策略的,这与传统的数据融合技术在理论和实际应用中都存在一定的差异。本文的主要研究工作是:首先,分析了多传感器数据融合技术的发展趋势和遇到的问题,提出了采用分布式系统提高多传感器数据融合系统的并行处理能力的思路;然后,调研了Storm引擎的特性,作为分布式实时流式计算引擎可以满足数据融合系统在接入大规模传感器后对性能和扩展性的要求;随后,结合数据融合技术的结构模型和功能模型,在Storm作为系统运行框架的基础上设计了基于Storm的分布式多传感器数据融合系统架构,并分别叙述了每个模块的功能;最后,在Storm集群环境上运行多传感器数据融合系统,验证了Storm作为实时流式计算引擎可以很好地为数据融合算法服务。
其他文献
面对对外投资的快速增长,应结和我国企业集团的实际状况,争取国际税收中的有利地位,在对外投资经营中开展合法的国际税收筹划,以提高国际竞争力。
在交通事故再现计算中,需要输入附着系数,如何在事故现场测量路面摩擦特性,并转化为计算模型中的轮胎与路面的附着系数是需要解决的重要技术问题。建立路面摩擦特性的测量结
通过分析Ⅶ度地震区断裂活动的实例,提出减灾对策的建议.
介绍了重庆单轨2号线4辆编组列车国产化网络控制系统的拓扑、基本原理、关键技术等。
目的:评价澳特斯小儿止咳露用于镇咳的临床效果及不良反应。方法:采用随机对照开放的方法,以小儿止咳糖浆为对照药,对有中度以上咳嗽的患几分为两组。治疗组30例应用澳特斯小儿止
如何在出发前为运输车辆选择一条抗堵塞路径使路段堵塞带来的时间延误损失最少具有重要意义。现有研究或者不考虑路段突发性堵塞只研究经过指定节点的路径选择,或者不考虑经
已有的研究成果表明,高填方涵洞(管)的地基采用桩基形式处理不利于涵洞结构受力,甚至涵洞产生病害的机率更大,但高速公路穿越软弱地基时,为控制路基的变形,采用管桩处理涵洞
不孕症是妇科的常见病、疑难病。千百年来各大家致力于对其病的研究,所著成书众多,且在临床上取得了显著的疗效。因种类繁多,故挑十本具有代表性的著作加以简要阐述。在此,简
目的:通过分析孕激素受体(PR)状态与雌激素受体(ER)阳性乳腺癌病理特征、复发部位等关系,推测PR状态与ER阳性乳腺癌预后的关系。方法:收集2007年3月1日至2014年4月31日我院治疗的ER
近年来,高速铁路建设飞速发展,随着列车运行速度的逐步提高;列车运行控制系统作为高速铁路安全控制中枢,对确保行车安全、提高行车效率起到越来越关键的作用。CTCS-3级(Chines