物联数据存储热度划分策略及优化算法的研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:julykoko
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网技术的发展带来了物联网传感器的广泛应用,随之而来的便是海量物联数据的存储挑战。在计算机系统的实际应用中存在着数据访问局部性的现象,即在一段时间内特定数据会被集中访问,数据可以分为“热数据”和“冷数据”,热数据指的是在一段时间内访问频率较高的数据,而冷数据指的是在一段时间访问频率较低的数据。存储技术的进步为数据存储带来了不同选择,对于海量物联数据存储,根据数据热度特征,可以采用不同的存储介质存储不同热度特征的数据。“热数据”往往需要快速响应系统需求,对存储介质性能要求较高,因此可以采用固态硬盘等高性能存储介质存储,“冷数据”往往很少需要甚至完全不需要响应系统需求,对存储介质性能要求较低,因此可以采用机械硬盘等相对低性能存储介质存储。在实际应用中传统基于缓存替换算法的冷热数据划分策略并不能精准反映数据冷热情况,面对性能各异的存储介质,难以通过简单的冷热划分为后续的数据调度决策提供准确依据。为此本文主要进行了以下三点研究:(1)分析业务背景结合业务数据访问规律与数据自身价值,借助时间衰减模型设计数据热度量化方法,将数据冷热情况通过数字进行热度量化表示,提供更为精准可视的数据热度情况,为传感器所产生的物联数据构建时序热度数据记录。(2)分析时序热度数据特点和不同深度学习网络优势,基于CNN-GRU结合注意力机制构建面向多特征长时序数据的预测模型,通过实验测试对比得出结论,相较CNN-GRU等模型预测误差降低10.5%。(3)结合数据热度量化方法和热度数据预测结果,提出两阶段的数据调度策略,一阶段通过基于热度的数据替换算法提升数据访问命中率,二阶段通过遗传算法实现数据存储成本和数据传输成本的综合优化。此外,本文基于以上研究成果设计实现物联数据存储管理系统,详细介数据热度计算模块、数据热度预测模块和数据调度模块三个主要模块的设计与实现,并初步展示了该系统的运行效果。
其他文献
学位
学位
学位
学位
学位
学位
学位
学位
在当今互联网技术的迅速发展下,无论在社会中的哪个领域中,互联网的使用规模、用户数量、应用服务等都在不断增加,这不仅使我们的生活大大得到了改善,也使得互联网在我们的生活中越来越重要。但是,随着互联网的多元化发展以及网络中数据量的持续增长,网络对数据的传输要求越来越高,导致了网络拥塞的情况越来越严重,这对网络的发展和用户的体验都产生了很大的影响。如果是轻微的网络拥塞,会导致数据的传输效率下降,降低网络
学位
学位