基于GE码的HDFS优化方案

来源 :计算机应用 | 被引量 : 18次 | 上传用户：hgtata

【摘要】

：

针对Hadoop分布式文件系统(HDFS)数据容灾效率和小文件问题,提出了基于纠删码的解决方案。该方案引用了新型纠删码(GE码)的编码和译码模块,对HDFS中的文件进行编码分片,生成很多个Slice并随机均匀的分配保存到集群中,代替原来HDFS系统的多副本容灾策略。该方法中引入了Slice的新概念,将Slice进行分类合保存在block中并然后通过对Slice建立二级索引来解决小文件问题;该研究方

【作者】

：

朱媛媛王晓京

【机构】

：

中国科学院成都计算机应用研究所

【出处】

：

计算机应用

【发表日期】

：

2013年03期

【关键词】

：

HADOOP分布式文件系统纠删码数据容灾两级索引 Hadoop Distributed File System （HDFS） erasure code

【基金项目】

：

国家863计划项目（2008AA012402）.

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

高校资产处置过程中存在的问题及对策研究

资产处置工作是高校资产管理过程中的一项重要内容,也是高校资产清查工作结束后需要开展的一项重要工作。本文结合笔者的一线工作实践,分析高校资产处置过程中存在的实际问题

期刊

资产处置业务培训资产评估

1月房贷月供或“不降反升”

据新华社杭州1月5日专电，随着2015年的到来，多数银行房贷利率将开始执行央行降息后的新标准，但部分贷款购房者恐怕还不能立刻得到降息带来的“真金白银”。据金融信息机构银率网

期刊

信息机构新华社银行购房者利率贷款金融

学案导学在初中数学教学中使用情况调查及分析

为了了解“学案导学”这种新的教学模式的使用现状，对成都龙泉驿地区6所中学的57名数学教师进行了问卷调查．通过从学案设计、学案使用与学案对教师工作的影响等三个维度进行数

期刊

中学数学数学学案导学调查研究middle school mathematics learning plan guidance in mathematic

张大千和范振绪的敦煌情缘略论

敦煌壁画艺术对于书画艺术家而言，充满了极大的吸引力。1941年夏天，。_张大千和70高龄的甘肃著名书画家范振绪从武威一起前往敦煌考察，结成了两位忘年交好友的敦煌情缘。张大千

期刊

张大千范振绪敦煌ZHANG Da-qian FAN Zhen-xu Dunhuang

传统企业管理与学习型企业管理特点对比研究

商业发展在我国还处于初级阶段,在针对企业进行具体管理过程中,需要相关的理论作为基础,才能够保证管理的规范性和标准性,而传统企业管理也在很大程度上推动了现代管理的进程

期刊

企业管理传统型管理学习型管理对比

财政志书的篇目设计之我见

根据湖北省人民政府、省地方志办公室的统一部署和要求,省财政厅于2006年6月正式启动了第二届《湖北省志·财政》编纂工作,全省各地、市、县也相继开始所在地财政志书编

期刊

抓工作协调促规范运行

2004年,建始县政府采购工作依法实现 '管采分离'后,分工明确、职责清晰、工作协凋、采购规范,取得了可喜的成绩。一是分设机构,明确职责。分设政府采购监管机构与执

期刊

樱桃和日本晚樱茎次生木质部导管分子比较研究

采用导管分子的离析技术,对樱桃、日本晚樱茎次生木质部的导管分子类型、数量、长度、直径、穿孔板类型以及尾端特征进行了比较研究.结果表明：两种植物导管分子的穿孔板多为单

期刊

樱桃日本晚樱茎次生木质部导管分子演化关系Cerasus pseudocerasus Cerasus serrulata vat. Lannesia

清开灵注射液致过敏性紫绀1例

患者，男，30岁，因尿路结石、前列腺炎于2005年6月15日收治入院，患者以往无药物过敏史。查体：T36．3℃，R20次／min，P56次／min，Bp17．87／10．1kPa，左下腹部疼痛，尿频，尿急，入院后仅使用清开灵注射液40m

期刊

清开灵过敏性紫绀

魏子云《金瓶梅》研究的成就与失误

魏子云是中国当代金瓶梅研究的开创者，成就卓著，也有失误。他是否定鲁迅一个权威论点的第一人。他认为早期的《金瓶梅》是讽谏明代万历神宗皇帝宠幸郑贵妃，有废长立幼故事的政治

期刊

魏子云金瓶梅研究政治讽喻小说成就失误WEI Zi--yun study of Chin Ping Mei political satirical no

基于GE码的HDFS优化方案

与本文相关的学术论文