论文部分内容阅读
云计算技术的兴起和发展,正逐渐改变人们使用服务和资源的方式,同时也成为计算机应用领域的研究热点。云存储可实现云端海量数据的高效存储,是云计算的重要基础。如何保证云存储系统的服务质量(QoS, Qulity of Service)及可靠性,对于保证海量用户的访问效率,维护海量数据存储的可用性有着重大意义。当前主流的云存储系统,一方面缺乏有效的QoS控制机制,无法满足不同用户的访问需求,另一方面采用静态的可靠性保障技术,难以适应系统多变的应用环境。论文针对上述不足,结合国家重大科技专项的研究以及云存储系统的基本架构模型,对云存储系统的QoS控制及可靠性技术开展研究。为了保证云存储系统数据访问的QoS,论文提出了基于区分服务的云存储QoS控制方法,通过对云存储系统的用户基于服务质量等级进行区分,提供不同的QoS保证。一方面在元数据服务器上采用EDF队列调度满足用户对时延的需求;而在数据存储服务器上利用多级队列调度的方法满足传输带宽的输出,同时通过自适应的负载调节优先保证高等级用户的服务质量。另一方面利用QoS-aware负载均衡策略从宏观上调节整个系统的QoS控制,使面向QoS的读请求分配最优化。最后使用断点续传机制,保证数据传输过程中的QOS。针对云存储系统中数据存储服务器的不可靠特性,论文提出了一种双向失效检测策略,以心跳检测策略为主,主动检测为辅,对数据存储服务器进行快速准确的失效检测。在心跳检测中,利用自适应的心跳超时算法,以适应云存储系统不断变化的网络环境;同时在心跳超时触发主动检测策略,避免由于心跳丢包而引起的服务器失效误判。实验证明,双向失效检测能够很好地适应系统不断变化的应用环境,降低检测的错误率,准确地识别失效的数据存储服务器。在保证数据可靠性方面,论文提出了副本初次放置策略、自适应的副本数量控制策略以及副本失效处理机制等一系列面向可靠性的副本策略。副本初次放置策略选取最合适的服务器放置根副本,保证存储初期的可靠。自适应的副本控制数量策略根据用户的访问特性动态地调节系统的副本情况,为热点文件增加副本,减轻负载;同时减少冷门文件的副本,节省存储空间资源。当单副本失效或者数据存储服务器失效时,启动失效处理机制,通过快速复制失效的副本来保证副本的冗余个数,确保访问数据的可靠性。论文最后介绍了基于QoS控制及可靠性技术的原型系统:杰唐云存储系统JTangCS,该系统实现了论文所述的QoS控制和可靠性技术。