论文部分内容阅读
随着海洋探索与研究的不断深入,海洋大数据越来越受到人们的关注。特别是海洋生态环境建设,是国家海洋强国战略中必不可少的一环。然而近年来,由于海洋污染愈发严重,许多海洋生态灾害相继发生,不仅严重破坏了生态平衡,更造成了严重的经济损失。因此,高效而精确的海洋监测系统的重要性越发凸显。然而,由于海洋监测数据具有规模大、异构性强等特点,如何快速而高效地存储海量异构数据成为一大挑战。随着云存储概念的兴起,其将取代传统的本地存储成为此类场景更优秀的解决方案。然而,云存储也存在一定的缺点,例如访问延迟高、网络带宽不足等。如何将局域网存储的低时延、高带宽与云存储的高性能、高扩展性相结合,是值得研究的重要问题。同时,在存储介质方面,由于SSD相对于传统的HDD(机械硬盘)拥有更好的抗震性、更低的功耗、更短的寻道时间以及更高的性能,SSD逐渐取代HDD在存储结构中的角色,在公有云存储、大型数据中心等场景已被大量采用。在海洋监测领域,数据的即时性与高价值性决定了其对于高可靠存储的需求。而SSD在整个生命周期中的可靠性不及HDD,如何提高SSD的可靠性,也是亟待研究的一个重要问题。本文旨在解决现存的以上问题。论文首先针对云存储数据访问延迟高、网络带宽不足的问题,将其与局域网存储相结合,提出了云平台侧-边缘侧-本地侧的三层数据存储管理架构。通过将云平台侧的热点数据缓存至边缘侧,从而减少本地侧获取数据时的时延。同时,分别设计了数据库的存储格式,使其分别满足云平台侧易于查询、检索的需求以及边缘侧高速、低延迟的需求,从而使本地侧获取数据的性能最大化。其次,论文针对因SSD写寿命有限而导致全闪存阵列可靠性不足的缺点,提出了采用SSD+HDD的混合多层RAID-5阵列,在RAID控制器层实现了高性能的HDD感知的数据备份策略以及数据恢复策略,使磁盘阵列在多SSD失效时仍能保持数据不丢失、不损坏,解决了全闪存磁盘阵列面临的多磁盘连续失效问题,有效保证了云平台数据的可靠性。最后,本文开发了一个面向海洋多元数据的云存储管理系统,采用响应式网页设计语言编写了多平台自适应的前端页面,用于展示海洋多元异构数据的同时对三层架构的可靠性与数据获取的实时性进行了相应测试。测试结果表明,与传统架构相比,本文所做工作有效提高了数据存取的实时性及数据存储的可靠性,具有较好的应用前景及社会意义。