论文部分内容阅读
随着物联网概念的普及和系统的不断发展扩大,物联网越来越呈现出数据量大、实时性高和网络环境复杂的特点,然而,物联网中的中间件属于数据处理能力有限的弱计算环境平台,当系统中的底层数据得不到有效处理时,整个系统的性能和可用性就会受到影响,在这个前提下,对中间件缓冲区中的数据处理环节进行研究和设计就显得十分必要。本文以物联网Savant平台为背景,研究了基于Savant体系结构的数据获取、数据整合、数据筛选和缓冲区数据处理技术,所取得的成果包括以下几个方面:(1)针对数据获取模块中订阅反馈方式无法处理“数据风暴”的问题,同时询问回答方式存在管理复杂的问题,借鉴RED随机早期检测算法的思想,提出一种基于动态策略的数据获取模型,该算法在缓解数据获取过程中网络拥塞的同时,结合了两种数据获取方式的优点,具有良好的性能。(2)中间件系统的数据处理能力是有限的,而待处理数据量的海量增长会导致各阅读器对数抓资源的争用,针对绝对优先级策略中低优先级数据的“饥饿”现象和传统分层调度算法中数据的优先级无法动态调整的问题,提出了基于动态优先级的数据调度算法,该算法除了解决上述问题,还兼顾了有硬实时处理要求数据的情况。(3)中间件系统中不可避免的存在冗余数据和处于异常状态的数抓,此外用户有时需要选择符合指定条件的数据,针对上述情况,本文设计了冗余筛选器模块、特征筛选器模块和异常筛选器模块,通过配置筛选规则设计了一个流水线式的可控数据筛选模型。在上述研究的基础上,结合Savant系统,搭建了系统测试的仿真平台,并对上述研究成果进行验证,系统测试结果表明,数据处理模块可以有效的获取并调度数据进入缓冲区,可以有效对标签数据进行筛选过滤,提高了Savant系统的性能和效率,达到了数据处理的目的。