多层一致性哈希的HDFS副本放置策略

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:wkxhm123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡
其他文献
O’Caml语言是一门优秀的函数式程序语言,具有计算模型简单、语法语义描述清晰等特点,而通用编程技术方法通过高度抽象算法、数据结构及其他软件组件可以避免功能相似代码的
随着ASIC、SoC和FPGA在工业生产和科研工作中的广泛应用, 作为硬件描述语言的Verilog HDL已成为实现集成电路设计的重要方式, 而设计师对其中赋值操作的错误使用, 也导致了部
基于Eclipse平台的嵌入式软件开发调试工具对于嵌入式系统软件开发具有重要意义,但目前基于Eclipse平台的嵌入式开发调试工具实现不多.针对这种情况,提出了使用Eclipse平台及
图像变化检测中存在变化区域过高估计的问题.为解决此问题,提出一种基于上下文相似度的有监督图像变化检测方法,用于二时刻高分辨率多光谱卫星图像的变化检测.利用上下文相关
在有限资源情况下,FTP服务资源共享平台仅凭多个独立的服务器无法承担访问量、数据容量、网络流量等快速增长所需要的运算需求,采用最小连接调度(LVS)策略设计并实现了改进的
提出了一种基于带参系统的Murphi模型来完成对应的SMV自动化建模的方法.因为Murphi工具拥有带参特性,因此使用其对带参系统进行建模比较容易,而且得到的模型代码量比较少,易
本体映射是解决本体异构的有效手段,而概念相似度计算是本体映射的关键环节.针对目前本体映射中概念相似度计算存在的问题,提出一种改进的多策略的概念相似度计算方法.首先根
模糊C均值聚类是一种有效的图像分割方法,但存在因忽略空间上下文信息和结构信息而易为噪声所干扰的现象.为此提出了DCT子空间的邻域加权模糊C均值聚类方法.该方法首先结合分块的思想,对图像块进行离散余弦变换(discrete cosine transform,DCT),建立了一个基于图像块局部信息的相似性度量模型;然后定义目标函数中的欧式距离为邻域加权距离;最后将该方法应用于加噪的人工合成图像、自然图
所述的Open Stack高可用生产环境案例作为互联网电子商务软件的硬件平台,实现的架构包括设备和物理网络的冗余设计,以及基于Active/Active的双活模式,提供了负载均衡能力和系
非结构化数据呈爆炸态势增长,传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进,通过分析安保视频数据存储的问题,设计一种云计算架构下的安保视频监控存储系统,基于框架