数据密集型分布式存储系统一致性维护策略的研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:kevin_dai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算的发展和普及,大量的计算任务由本地设备迁移至云计算系统中来。与此同时,大数据和人工智能概念的兴起及其实际应用的有效落地,对大规模的计算能力提出了更高的要求,对计算能力和数据存储能力的需求成指数增长。因此,提高云上系统的性能和效率将会带来巨大的经济效益。云计算系统的后端一般为高效的分布式系统,节点间通过网络连接,作为一个统一的整体对外提供计算和存储等服务。数据一致性是分布式系统正常工作的重要前提。一方面,分布式系统节点间的协调和调度需要所有节点对系统当前的全局运行状态有一致的认识,从而使节点间的协同成为可能。另一方面,为了保证数据可靠性,分布式存储系统会将单份数据的多个副本存储于不同的物理节点中,从而减少数据丢失的可能性。在采用普通商用服务器的数据密集型的分布式系统中,由于网络、硬件设备故障等原因,在多次读写后,多个副本间容易出现不一致的情况,读取数据时有可能获得老旧数据,而这是一个分布式存储系统所应该避免的情况。由此可见,维护数据一致性对分布式系统至关重要。然而,一致性的维护依赖于频繁的校验和数据传输,耗费大量的计算资源。当副本数较多、网络基础设施不足时,数据密集型的分布式存储系统对一致性的维护过程将成为性能瓶颈。本文以OpenStack Swift为例,以维护数据一致性所产生的瓶颈问题为主,研究了数据密集型分布式存储系统所面临的主要问题及其解决办法。文章的主要贡献为:(一)深入研究了分布式存储系统现有的技术背景,采用理论分析与实验验证相结合的方式,分析了数据密集型的分布式对象存储系统在数据频繁更新状态、节点失效状态以及节点失效后的恢复状态下出现的性能瓶颈及其原因。(二)提出了一种内存中的哈希维护策略,减少了频繁的磁盘读写操作,从而提高了数据更新和节点恢复状态下系统的整体性能。(三)提出了基于超时统计的失效节点检测和处理机制,以及基于优先队列的失效节点快速恢复机制,以提升系统在节点失效状态及失效节点恢复状态下的同步性能。(四)为高效地统计网络流量以辅助前述研究,本研究实现了一款Linux下的流量统计软件,可精确统计特定事件之间某个进程所有端口的进出流量。
其他文献
荧光检测法由于操作简单、响应时间快、灵敏性高等优势,被广泛应用于分析检测领域。碳点是一类新型的荧光碳纳米材料,具有良好的光学性能、发光多色性、生物相容性及低毒性等
在国内,中国移动、中国联通、中国电信、中国铁塔、中国广电等企业最近几年发展迅猛,在全国范围内快速建设通信网络。当前正是中国5G通信网络建设高峰期,大量通信建设项目立
资产配置是投资过程中最重要的环节之一,而如何选择符合投资者偏好的配置模型这个问题一直都是投资者关注的重点。自1952年马科维茨开创了资产配置的均值-方差理论以来,现代
仿生电子皮肤是一种人工仿生材料,可以贴合在人体皮肤表面并能实时监测人体的各种运动,在创伤敷料修复、可穿戴设备和软体机器人领域有广阔的应用前景。为了模仿人类皮肤,仿
表观遗传机制参与植物的生长发育和抗逆性调控。辐射和微重力是空间环境中的两个重要胁迫因素,二者在空间生物学效应中的相互作用一直是该领域的研究重点。前期研究利用空间
有机硒/硫化物是许多化工产品以及天然化合物的重要组成部分,也是有机合成的重要中间体。将含硒/硫元素引入到药物小分子当中,能够改变小分子的物理和化学性质,增强药物小分
多西紫杉醇(DTX)、羟基喜树碱(HCPT)和依托泊苷(EPEG)是三种代表性的抗肿瘤药物,具有抗瘤谱广的性质,对前列腺癌、非小细胞癌、肺癌肝癌、白血病、淋巴癌等多种癌症具有显著
随着现代计量光学的深入发展以及在微米和亚微米尺度研究的微小光学逐渐成熟,越来越多的学者利用光学器件、光学原理以及光学效应的来进行微小角度测量的研究。同时,对于微小
在高等生物中,腺苷酸环化酶相关蛋白1(CAP1)调控PKA激酶系统,参与cAMP信号通路的传递。另外,CAP1也能调控细胞骨架运动,促进细胞迁移。近几年来,有关CAP1的研究主要集中在其
乳腺癌(breast cancer,BC)是世界上第二大最常见的恶性肿瘤,是女性最常见的恶性肿瘤之一。世界卫生组织国际癌症研究中心(International Agency for Research on Cancer,IARC