【摘 要】
：
随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提
论文部分内容阅读
随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.
其他文献
随着我国经济的快速发展以及城市化进程的加快,人们对城市基础设施的需求也越来越大。作为一项非常重要的基础设施,电力工程由于受到内外部复杂因素的影响,其施工难度较大,因
在悉尼的金融区中心,139m高的1Bligh大厦将尖端的设计、技术和可持续性结合在一起。这座建筑紧凑的体形与轻微的旋转让视线朝向世界著名的海港大桥,同时又能对转角进行充分强
错误定位是软件调试中非常耗时费力的活动之一,自动错误定位技术可以提高调试效率,降低调试成本.该文提出一种把动态切片、关联分析及排序策略相结合的错误定位方法.首先,收
随着电子计算机与通信技术的发展，交换机在通信网中的作用越来越大。西门子公司生产的Ｈｉｃｏｍ３９０系列数字程控交换机是全数字、时分、Ａ律编码的交换系统。该系统是集语音交换、数字传输、
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较
大数据时代的到来,对银行财务管理工作提供了更高要求。为了能够提高银行整体财务环境,更好的促进银行发展,银行内部财务管理部门应该顺应时代发展需求,不断挖掘和利用大数据
历史设定了建造的姿态。这座城市悠久的历史,或是这片大陆浮出水面的历史,决定了跨域河流边缘的形态。一个广场、一处公共空间和一团空气为建筑带来意义。它被垂直的元素勾勒
招牌澳洲烧排1.把新鲜牛排切成厚方片,加蛋清、盐、味精、葱姜、蚝油等腌渍30分钟,待用。2.平底锅内放入少许油烧热,再把腌好的牛排放进去煎制,其间还要加入适量的泰国鸡酱和
时间序列shapelets是序列之中最具有辨别性的子序列.解决时间序列分类问题的有效途径之一是通过shapelets转换技术,将其发现与分类器的构建相分离,其主要优点是优化了shapele
数据中心的高能耗是一个亟待解决的问题.尤其是随着云计算的发展,更多的资源集中到云端.构建绿色数据中心、实现节能减排成为了近年来业界关注的热点.数据中心的能耗主要由计