面向数据中心的容错存储和数据访问优化问题的研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:GAODAOQUAN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心是云计算技术的核心部分,在云上的存储、计算、查询等服务实际上都是在数据中心完成。云计算已渗入到人们的日常生活,这导致数据中心中存储的数据急剧增多,对分布式存储系统中的容错性有了更高的要求。近十年来,将网络编码技术引入到数据的容错技术是研究的一大热点。而在分布式系统中引入网络编码后,对数据在数据中心的放置策略与数据访问等问题又可以展开新的讨论。本课题就是针对这两个问题进行优化研究。本课题的第一部分,是在数据中心网络中引入了网络编码的容错技术以后,将容错性作为数据放置策略的考虑因素之一,提出了基于容错存储优化的放置策略。数据中心网络有三种架构方式,以交换机为核心、以服务器为核心、以及混合型。基于编码系统中,服务器之间的距离对修复失效节点的影响,课题采用以服务器为核心的架构——BCube数据中心网络拓扑结构。课题中所提出的优化放置策略,需要考虑的因素有三个,数据的访问效率、存储节点的负载、恢复失效节点的时间期望值。综合以上三个因素,制定出选择分布式存储节点的标准,由于节点负载更均衡、失效时恢复时间更短,依此标准选择的存储结构有更高的容错性。本课题的第二部分,是基于编码系统的特性,提出新的用户请求调度策略。在编码系统中,任取存储节点中的部分节点存储的数据,经解码后即可获得所有数据。因此,用户的请求可以在任意服务器上服务,增加了用户请求排队模型的服务窗口数量,这无疑会减少用户等待的平均时延。本课题提出的算法,增加了缓冲区内的排队队列,用不同队列有不同优先级的管理方式,对排队中的用户请求进行管理。从而不需要记忆服务器服务过的子请求,也不会有服务器空闲、等待中的子请求不能分配其上的情况发生。通过这样的管理方式,很好的优化了用户在编码系统中的访问效率。最后,对上述两个算法通过进行仿真实验,来验证是否分别对放置策略和调度策略进行了优化。
其他文献
嵌入式Linux操作系统和ARM微处理器的结合成为嵌入式开发的主流。同时,工程扫描仪广泛应用于建筑、测绘、军事、印刷、航天、机械等众多领域。本文主要论述基于嵌入式Linux的
随着信息技术的不断发展,人们已经积累了越来越多的数据。面对这些数据,如何从中找出对生产生活有用的知识已成为数据挖掘、模式识别和机器学习等领域的一个重要研究问题。K-
机会网络作为一种新型的自组织网络,利用节点之间的相遇进行数据传输。机会网络中节点的移动性会导致网络连接不稳定,所以机会网络的路由算法用于解决动态拓扑结构下的数据传
数字景区三维建模包括数据获取、图像分割、图像配准、几何建模、纹理建模等技术,其中数据获取、图像分割和图像配准是三维建模的基础,对建模的效果和质量有着重要的意义。本
互联网的迅速发展导致Web信息飞速增长,Web已经成为世界上最大的信息来源。由于Web资源的迅速膨胀以及Web信息的分散性与异构性,导致知识的难以查询。目前,互联网已经发展成
图像分类是模式识别领域中的重要研究内容,在科学研究和工程技术方面有着非常广泛的应用背景。纹理,作为一种广泛存在的图像模式,自然成为图像分类的重要研究课题。提取纹理
人体检测、识别和跟踪技术一直是计算机视觉和安全领域的热点问题,也是一个广泛而综合的课题,其中人体检测又是人体识别和人体跟踪的前提和基础,人体检测结果的准确程度直接影响
随着经济全球化的不断发展,机动车的数量与日俱增,随之而来的是交通阻塞、尾气污染、噪声污染、交通事故频发等问题。智能交通系统的诞生为全方位高效管理现代交通带来了希望
神经网络在刚刚起步之初,由于硬件发展水平的限制,主要使用CPU或其集群训练模型。而对于目前深度学习中需要密集计算的多层神经网络而言,在传统的CPU环境中的训练时间成本较
学位