论文部分内容阅读
随着“智慧物联网”不断发展,云存储相关技术逐渐渗透到各个监测领域,如海洋生态监测系统、森林防患监测系统、安防监测系统等。这些监测领域在面向大数据应用背景时,都存在数据请求压力不断增大,数据终端节点种类繁多,信息传输易受威胁等共同问题,这种万物互联通讯的复杂场景给监测领域的系统发展带来了不小的挑战。在物联网背景下,监测领域的数据采集中既包含了结构化数据,又包含了非机构化数据,云存储技术的出现有效解决了巨大数据量导致数据存储负载严重等问题。然而,随着云存储的扩展,在面向大数据应用(多样化数据终端)时,终端节点大量数据的下发和上传过程导致了云端数据处理压力增大,带宽受到限制,降低了终端的访问效率。相较于本地存储,云存储本身就存在访问延迟高的问题,而数据请求分散进一步增加了网络带宽压力,致使延迟加剧。云网关系统作为云端和数据终端的中间层,能够通过缓存管理和热点数据迁移有效缓解此类问题,实现终端对数据的快速访问。此外,在监测环境下,各个数据终端之间需利用云网关进行数据通讯,甚至是远距离相互协作,但对于重要数据的可靠传输和准确性无法得到确切保证。区块链技术作为新兴的分布式存储技术与云网关的区域统一管理和分布式互联结构不谋而合,结合其信息验证机制和协作信任特点,保证了各种传感器之间协作过程的自动化、信息不可篡改和可溯源,从而提高了云网关系统的智能化。基于以上问题分析及研究目的,本文以海洋监测领域为主要研究背景,设计并搭建了面向监测领域的智能云网关系统,形成了云端-边缘侧(云网关侧)-数据终端三层云存储结构,针对不同类型数据终端的功能场景,实现了边缘缓存存储功能和区块链数据存储与管理功能两大功能。在云端,本文完成了衔接云端和边缘侧的数据检索模块,设计了 BSON报文格式,用以向边缘侧实时提供云端数据。在边缘侧,为了保证数据可靠性和检索实时性,本文设计了高效容灾的K-V数据库和分布式容灾策略,同时利用LRU替换策略对边缘侧数据进行缓存和更新,提高边缘侧请求命中率,降低用户数据访问延迟,减轻云端带宽压力;为了保证云网关利用数据终端进行多节点远距离协作过程和信息交互过程中数据的不可篡改和可溯源,本文设计并搭建了适合于物联网环境且易于轻量数据交易的IOTA区块链,实现数据自动化存储至边缘侧分布式节点。另外,利用ZeroMQ技术完成对区块信息的动态监测和统计分析,并将链状态展示至前端可视化。在数据终端,本文设计实现了用于用户进行数据请求的响应式网页。同时,系统结合神经网络识别功能实现了终端节点间进行区块信息传输的智能协作应用,提高了物联网背景下系统的智能性。最后,系统对于各个部分进行了功能和性能测试。结果表明,本系统各功能能够利用区块链技术满足数据的存储管理与监控统计,终端数据请求相较无缓存系统效率提高八倍多,具备系统可行性和良好的应用前景。