多I/O并发的混合存储布局优化模型研究

来源 :西安建筑科技大学 | 被引量 : 0次 | 上传用户:artec1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着海量数据的不断增长,如何高效安全地对数据进行存储,更深层次的挖掘和利用大数据,成为当前急需解决的重要问题。混合存储是目前存储领域研究热点,通过利用不同性能和特点的存储介质构造存储设备。存储系统追求的性能主要在系统负载和处理请求速度方面,而这些性能与数据布局策略之间联系紧密。因此,为了提高系统性能对数据布局策略进行研究,构建高效可靠的混合存储系统是当前需要解决的重点问题。本文主要研究内容如下:(1)对所构建的混合存储目标进行分析,选择采用SSD与HDD同层架构作为混合存储结构,利用不同磁盘的存储特性来对数据进行存储。(2)对目前已有的数据布局策略进行分析,在SP和SOR策略的基础上进行改进,根据系统平均负载情况将数据节点分类,提出将数据按服务时间进行降序排序,在小于平均负载的节点上采用Greedy方式存放数据直到节点的负载大于平均负载,将剩余数据采用轮询方式存放到所有节点上,并根据数据的热度情况选择存储的磁盘,避免将大的数据存放在SSD中降低磁盘写寿命。(3)采用遗传算法来优化系统性能,从系统负载和请求响应两方面构造适应度函数,针对遗传算法中收敛速度过慢和局部最优问题进行分析,对初始种群进行约束避免了无效个体的产生,采用自适应的交叉变异算子来进行遗传操作,改进选择算法来提高种群质量,保证优良个体可以遗传到下一代,使得种群更具多样性。实验结果表明,当种群规模范围在30-50,遗传代数超过600时,本改进遗传算法在寻找全局最优解和快速收敛程度上表现最好。为了评估该布局策略对系统性能的影响,通过搭建Hadoop集群环境来进行实验对比分析,通过改变数据节点数和请求数据量,观察三种策略在系统响应时间和负载两方面的不同变化。实验结果显示,本文的改进策略在系统负载较大的情况下,系统性能在对数据进行处理方面仍表现很好,与SP、SOR策略相比,系统性能分别提高了21.60%和16.38%。因此,本文所提出的数据布局策略对于系统性能的提高有着明显的作用。
其他文献
在网络舆情的传播过程中,舆情主题反映了舆情内容的变化情况,以主题为研究单元来研究网络舆情演化能深入揭示其演化规律。本文以微博为实验平台,根据网络舆情演化、主题发现
柑橘黄龙病是柑橘的毁灭性病害,严重威胁世界范围内柑橘产业的健康发展。亚洲柑橘木虱Diaphorina citri Kuwayama(简称柑橘木虱)是柑橘黄龙病菌的主要传播媒介。因此,为有效阻
NUMA(Non-Uniform Memory Access,非一致性内存访问)架构的出现和普及克服了SMP(Symmetric Multi-Processor,对称多处理器)架构在扩展性方面的局限性,使得单台机器上能够容纳更多的计算核心,同时NUMA架构中物理内存的分布式设计也使得访存操作具有非一致性时延的特征。一方面,更多的计算核心使得共享内存的高并发应用能够生成更多的线程并将其分布到所有的核
在过去的十年中,智能材料(例如压压材料(PZT))的使用为结构健康动动提供了新的可能性,并加速了结构识别和结构健康动动(SHM)的发展。使用自感应压压阻抗传感器的机压阻抗(EMI
随着我国城市化的快速发展,高层次,高密度建筑的集聚引发了了城市化的弊端,如环境质量降低,热岛效应严重,低空污染加剧等。它阻碍了城市的人居环境建设和可持续发展,降低了城
土壤是现代工程中经常遇到的材料。在自然环境中,当温度在冻结点附近变化时,土壤可能会冻结和融化。由于多种原因,即使在低于土壤冻结点的温度下,土壤中仍含有未冻水。由于冻
粗粒度可重构处理器(Coarse-Grained Reconfigurable Architecture,CGRA)已被证明是处理计算密集型应用的理想平台,但现有的应用映射算法通常只能解决单层循环和最内层循环体
航空发动机模型是研发先进航空动力装置的重要工具,模型精度决定着所建模型的适用范围,是评价模型价值的重要指标。由于各部件的安装和制造工艺水平、部件性能退化以及复杂交
新闻业务中每天产生海量数据,例如页面访问量、用户访问量、数据存储量等。大数据平台每天处理着这些数据以支撑相关部门的研究与决策,同时大数据平台也需要相应的监控系统保证数据服务的安全与稳定。公司自主研发的大数据监控系统是大数据平台的子系统,同时也是一套完整独立的软件系统。大数据监控系统负责数据监控和其他监控任务。系统采用SpringBoot框架开发,同时部署了 Python和Shell语言开发的脚本,
地震是较为常见的自然灾害,地震灾害不仅带来经济损失而且危及人们的生命安全。随着经济和科技的发展,许多新型的结构形式应用而生,以满足结构更好的安全性能和适用性。新型