论文部分内容阅读
随着物联网各项技术的不断发展,基础设施不断完善,创新的数据采集与信息交互方式提供了测量,预测、理解和改变环境的新手段,推动着物联网系统在个人健康、公共事务、智能家居等领域得到广泛应用,成为了人类连接未来生活的桥梁。随着人们对应用需求的不断增长变化,互联网上将接入海量不同类型的智能传感设备为用户提供各类服务。通过统一的平台实现海量设备的在线实时管理、按需整合各类设备服务形成创新的物联网应用成为未来物联网平台的主要诉求,但由于规模的增长,现有物联网体系结构在扩展性、容错性、移植性、集成性和安全性方面各有不足,而商业物联网中间件并不能指导物联网平台的建设。因此本文在深入分析现有物联网平台体系结构的基础上,围绕大规模物联网应用构建的若干关键技术开展研究,本文主要创新点:
1)针对大规模物联网设备接入与管理、基于设备的web服务质量保证等问题,提出了公有云与私有云混合的分布式物联网应用体系结构LSDIOT-A(Large Scale Distributed Internet of Things Architecture)。设计了智能设备计算资源动态分配模型,通过设备注册机制、数据发布订阅机制实现分布式计算资源和智能设备的动态接入,能够根据海量设备的接入需求轻松实现计算能力的横向扩展;建立了智能容错机制,通过智能设备向分布式接入节点发放租约,在部分接入节点出错时,系统能够自动将其承担的设备管理任务平滑转移至其他云计算平台;定义了表达能力强的智能设备与物联网平台间数据交互协议,有效提高了数据交换效率;提出建立虚拟设备层,将实际的智能设备抽象成为相关云服务平台的虚拟设备,简化了设备管理模式,将智能设备服务通过虚拟设备转化为Web服务,保证了系统服务质量;定义了基于REST接口风格标准的服务框架体系,支持跨平台的服务组合。
2)为解决大规模系统中Cache节点的一致性问题,本文提出了基于租约与Paxos协议的分布式Cache一致性协议DCC(Distribute Cache Consistency),根据程序局部性原理提出了同步节点组概念,利用Fast-Paxos协议实现组内的实时同步,利用优化的租约协议实现组间的数据同步,该协议有效降低了同步消息数量,尤其是大范围高延迟同步消息的数量,同时可配置的消息同步策略大大降低了同步消息所增加的平均等待时间。DCC可以作为独立地分布式Cache系统,为分布式应用节点提供一致性的缓存服务,将复杂的分布式数据一致性维护工作与应用解耦,开发人员可以专注于实现应用程序,而无需解决一致性问题。
3)为解决高并发条件下物联网平台服务质量,本文在多级反馈队列调度算法(MFA)和递归神经网络(RNN)的基础上,提出了基于RNN(递归神经网络)的调度优化策略SA-MFQS(a self-adaption Multi-level Feedback Queue Scheduling policy),该策略根据物联网多任务调度的特点,结合任务属性采用组合赋权法实现了物联网任务优先级的动态选择;再将RNN引入多级反馈队列调度模型,将队列和任务的特征参数作为递归神经网络的输入,不断的动态调整多级反馈队列的调度参数,解决了多级反馈队列调度中多层任务间的相关性问题,有效降低了任务平均周转时间和调度调度时间复杂度。
4)为保障物联网应用海量数据、文件在云存储中的安全性,提出了多云安全存储网关HASG(AHigh Available cloud Storage Gateway),通过冗余存储、数据分片技术提高了云存储的安全性、可靠性、完整性和一致性。文章设计了基于信息分散算法(IDA)的数据分片算法,将文件分片编码成指定数量的有效数据片段,将不可读数据片分散在不同的云存储平台中,解决了云存储平台安全性问题,同时其中部分数据片段能够实现数据重组,能够有效克服云存储平台失效提升数据可靠性和可用性;该框架还通过云存储平台的速度监测,在数据读取过程中智能选择云存储服务,有效降低数据传输延迟;同时我们定义了基于冗余块的高效数据更新算法,使用最小数据冗余片段进一步提升数据更新效率。
1)针对大规模物联网设备接入与管理、基于设备的web服务质量保证等问题,提出了公有云与私有云混合的分布式物联网应用体系结构LSDIOT-A(Large Scale Distributed Internet of Things Architecture)。设计了智能设备计算资源动态分配模型,通过设备注册机制、数据发布订阅机制实现分布式计算资源和智能设备的动态接入,能够根据海量设备的接入需求轻松实现计算能力的横向扩展;建立了智能容错机制,通过智能设备向分布式接入节点发放租约,在部分接入节点出错时,系统能够自动将其承担的设备管理任务平滑转移至其他云计算平台;定义了表达能力强的智能设备与物联网平台间数据交互协议,有效提高了数据交换效率;提出建立虚拟设备层,将实际的智能设备抽象成为相关云服务平台的虚拟设备,简化了设备管理模式,将智能设备服务通过虚拟设备转化为Web服务,保证了系统服务质量;定义了基于REST接口风格标准的服务框架体系,支持跨平台的服务组合。
2)为解决大规模系统中Cache节点的一致性问题,本文提出了基于租约与Paxos协议的分布式Cache一致性协议DCC(Distribute Cache Consistency),根据程序局部性原理提出了同步节点组概念,利用Fast-Paxos协议实现组内的实时同步,利用优化的租约协议实现组间的数据同步,该协议有效降低了同步消息数量,尤其是大范围高延迟同步消息的数量,同时可配置的消息同步策略大大降低了同步消息所增加的平均等待时间。DCC可以作为独立地分布式Cache系统,为分布式应用节点提供一致性的缓存服务,将复杂的分布式数据一致性维护工作与应用解耦,开发人员可以专注于实现应用程序,而无需解决一致性问题。
3)为解决高并发条件下物联网平台服务质量,本文在多级反馈队列调度算法(MFA)和递归神经网络(RNN)的基础上,提出了基于RNN(递归神经网络)的调度优化策略SA-MFQS(a self-adaption Multi-level Feedback Queue Scheduling policy),该策略根据物联网多任务调度的特点,结合任务属性采用组合赋权法实现了物联网任务优先级的动态选择;再将RNN引入多级反馈队列调度模型,将队列和任务的特征参数作为递归神经网络的输入,不断的动态调整多级反馈队列的调度参数,解决了多级反馈队列调度中多层任务间的相关性问题,有效降低了任务平均周转时间和调度调度时间复杂度。
4)为保障物联网应用海量数据、文件在云存储中的安全性,提出了多云安全存储网关HASG(AHigh Available cloud Storage Gateway),通过冗余存储、数据分片技术提高了云存储的安全性、可靠性、完整性和一致性。文章设计了基于信息分散算法(IDA)的数据分片算法,将文件分片编码成指定数量的有效数据片段,将不可读数据片分散在不同的云存储平台中,解决了云存储平台安全性问题,同时其中部分数据片段能够实现数据重组,能够有效克服云存储平台失效提升数据可靠性和可用性;该框架还通过云存储平台的速度监测,在数据读取过程中智能选择云存储服务,有效降低数据传输延迟;同时我们定义了基于冗余块的高效数据更新算法,使用最小数据冗余片段进一步提升数据更新效率。