Hadoop云存储策略的研究与优化

来源 :现代计算机(专业版) | 被引量 : 0次 | 上传用户:missingmm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统(HDFS)是海量数据的主要存储方式。HDFS默认的存储策略中,采用固定的数据副本个数以及随机选择远端节点的策略来保证数据的本地性和安全性,但当系统发生故障需要进行数据恢复时,默认策略将会造成系统时间的损失和节点存储负载的不均衡。提出一种改进的HDFS存储策略,根据节点的失效率以及期望的数据可用性建立一种概率模型.通过模型来优化数据副本个数,并根据节点的评价系数来选择远端节点进行副本存储。实验结果表明该策略针对海量数据时提高系统的存储性能。
其他文献
张涛外出打了几年工,感觉在异乡飘泊没有归属感,2006年决定回乡养猪。村里的老乡,一听张涛要开办个年出栏规模3000头以上的猪场,嘴上都说“支持”,却都不肯让张涛的猪场开到自家地
根据杨树和柳树雌雄异株的生物学特性和飞絮对大气环境造成的污染,给人们工作生活带来的诸多不便,从生物、化学和物理等三方面,提出了切实可行的解决办法,对解决目前杨柳飞絮给大
马铃薯膜下滴灌是地膜覆盖栽培技术和滴灌技术的有机结合,同时具有地膜覆盖和滴灌的优点,具有增温保墒、促进微生物活动和养分分解、改善土壤物理性状、促进作物生长发育、防除
近日,农业部网站公布了“2013年国家支持粮食增产、农民增收的政策措施”,包括农民直接补贴、农机补贴、农资补贴等政策,涉及农业的方方面面。
介绍一种可以对初始聚类中心进行优化的算法,改进之处是对孤立点进行特殊处理,降低孤立点敏感的问题,把距离与密度结合,选取最优的初始中心点,从而使聚类的精确度得到提高,并且该算
云环境下任务调度的核心模块是任务排队等待调度执行,任务等待的时间与任务执行成本关系到系统的应用性能。提出一种基于基本粒子群算法的任务排队方案,改善排队系统性能。此
复杂图像中对特定目标的检测和定位是机器视觉领域的难点之一。提出使用中层视觉元素描述检测目标,以建立权值模板图像;然后对目标图像和权值模板进行加权SIFT特征匹配得到最优匹配位置,从而实现目标检测。该方法以自行车为检测目标进行实验,检测率达到86%,优于传统SIFT-Ada Boost和HOG-SVM检测方法。实验结果表明该方法能够减少复杂图像中背景干扰的问题,对于不同姿态的目标进行检测也有较强的鲁
乡镇畜牧兽医技术推广是我国乡镇畜牧业的组成部分,是乡镇畜牧业的基础,因此一定要加大力度实施乡镇畜牧兽医技术体系建设。文章对乡镇畜牧兽医技术推广体系存在的问题,同时
我县是一个典型的山区农业县,畜牧业占农业产值相当大的比重.据统计,2013年畜牧业产值达73080万元,占农业产值的43%.畜牧业在农民脱贫致富奔小康中起到了极大的作用,已成为我
设计一个半实物无人机天线控制系统模拟器,解决实物天线架设困难和场地约束的问题,可以在室内进行教学训练。采用Unity3D软件对实物天线进行仿真建模,通过串口实现实物天线控