基于HBase的小文件高效存储方法

来源 :重庆邮电大学学报(自然科学版) | 被引量 : 0次 | 上传用户:lele3383
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于Hadoop平台的相关系统得到了广泛应用。Hadoop分布式文件系统(Hadoop distributed file system,HDFS)通过分布式的工作方式,负责处理海量文件数据。对HDFS而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于HBase(Hadoop database)的海量小文件高效存储方法,利用HBase的存储优势,将小文件直接存储于HBase,从而有效减少元数据节点服务器(NameNode)的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高HDFS环境下小文件的读写效率。
其他文献
她是我国城市规划与设计领域颇具声望的专家学者,长期从事城市规划专业的理论研究、教学和工程设计工作,积累了丰富的城市规划及实操经验;她在贵州大学管理学院执教二十载春
针对居住在城市外围的人们在非高峰期出行时,公交系统的运营效率及运营成本与乘客等待公交时间的矛盾问题,本文提出了一种基于网约车思想利用手机APP实时预约公交的系统模式。在新请求出现时实时预约公交调度系统会先根据公交系统服务阈值筛选出符合条件的公交,再利用启发式最短路径算法为距离新请求点由近至远的公交依次进行响应路径规划,并结合响应判断函数计算对应公交的响应效益,然后指派首个效益为正的公交作为新请求的
全面从严治党是将中国共产党建设更加坚强有力的保证,是党永葆先进性的保证。进入新时代,全面从严治党要确保良好的成效,关键要落实到责任层面,完善责任落实机制,完善全面从
目的:观察Epley手法治疗后半规管良性位置性眩晕(PC-BPPV)的临床疗效。方法:对诊断为后半规管良性位置性眩晕的患者采用Epley复位法进行治疗,不辅以任何药物及其他治疗手段,观察
通过对九龙山不同立地实测的土壤水分特征曲线和土壤有效水分的研究结果表明:土壤持水性由好到差依次为:阴坡灌木、阴坡裸地、油松、阳坡灌木、阳坡裸地和侧柏;坡向和植被类型对土壤持水性影响极大;同一立地条件下,土壤容重、毛管孔隙度和有机质含量是影响土壤持水性的主要因子;土壤饱和蓄水量变化范围在1 605.86~2 353.66t/hm~2之间,土壤水分只有7,8两月处于易效水阶段,其它时间均属难效水范围,
高校机关党支部处于从严治党、组织建设、教书育人、服务师生、干事创业的第一线,是办好中国特色社会主义大学的重要支撑。本文在学校机关党支部规范化标准化建设的实践探索
武汉解放后,新中国政法机关逐步建立完善。1950年,市人民检察署成立后开始接待群众控告申诉(来信来访)。1951年6月政务院颁布《关于处理人民来信和接见人民来访工作的决定》
医疗保险制度作为我国社会保障体系的重要组成部分,为千万国人的就医路上保驾护航,当前,我国医疗制度正处在改革的深水区,在此道路上了解发达国家的医疗保障制度也能对我国的
近年来,党中央高度重视党员干部作风建设,党的十九大和习近平总书记系列讲话精神都深刻阐述了全面加强新形势下党员领导干部作风建设的极端重要性和紧迫性,提出了加强干部作风
利用黄土高原区2013—2015年微观调研数据,在控制市场参与、家庭资产、家庭特征、地理区位的基础上,利用加权最小二乘法验证了社会资本对贫困脆弱性的影响。结果显示,社会资