【摘 要】
：
Hadoop分布式文件系统（HDFS）适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,过多的小文件将会导致整个集群的负载过高。
论文部分内容阅读
Hadoop分布式文件系统（HDFS）适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,过多的小文件将会导致整个集群的负载过高。为了提高HDFS处理小文件的性能,提出了双重合并算法-即基于文件之间的关联关系和基于数据块平衡的小文件合并算法,能够将小文件的文件体积大小进行均匀分布。通过该算法能够进一步提升小文件的合并效果,减少HDFS集群主节点内存消耗,降低负载,有效降低合并所需的数据块数量,最终能够提高HDFS处理海量小文件的性能。
其他文献
为实现四部对讲机在同一电话线路上的时分复用功能，实现话路资源最大化利用。系统分为VOIP模块与主控模块两大模块组成，VOIP（网络电话）模块采用语音专用芯片CS6220进行语音信号的
一、主要问题浙江经济虽然增长速度较快,经济总量规模扩张较大,但浙江的经济结构离散度大、聚合性低、产业关联度小、经济质量不高、基础不够扎实,经济运行呈非规则波动,且振
模糊C-均值聚类(FCM)算法由于能够很好地解决像素分类的不确定性而得到广泛应用,但是聚类中心的初始化对其分割效果有很大的影响。文中以初始聚类中心为重点,分别用K均值算法、遗传算法、蚁群算法、粒子群优化算法优化FCM算法初始聚类中心,将优化后的结果作为FCM的初始聚类中心,并利用MATLBA软件进行了实验仿真。通过实验结果对比分析,不仅优化后的运算时间有所减少,而且所得的聚类中心更加稳定,使得分割
招远市鹏泰农业专业合作社位于蚕庄镇西北,由蚕庄镇西沟村党支部牵头领办,成立于2009年3月,是一家集高效农副产品生产、经营、储藏、加工、销售于一体的农民专业合作社,现有
现有的关联规则数据挖掘算法或方法中，获取规则的计算时间很大一部分都耗费在关联项目集的扫描、数据库频繁扫描和生成冗余候选频繁项目集中。传统方法虽然得到的挖掘结果比较
招远市大户庄园农林专业合作社位于金岭镇大户陈家村,是由大户陈家村党支部领办的合作社。近年来,合作社依托周边丰富的山水资源,积极探索产业融合发展的新路子,探索出"统—
近年来,农机合作社发展迅猛,截至2019年底,全国农机合作社数量约达7万家。农业农村部从2016年开始继续开展农机合作社示范创建活动,如今全国已有466家农机合作社榜上有名。中
为更好反映2018年度农民合作社发展情况,尤其是更全面客观反映国家农民合作社示范社的基础实力、发展活力和创新能力,农业农村部农村合作经济指导司、农业农村部管理干部学院
飞剪的定长控制一直是控制领域里研究的一个重要的问题.施耐德实验室硬件平台是由电脑、施耐德的运动控制器LMC058F42、伺服驱动器Lexium32A、伺服电机BMH0701、触摸屏XBGT22
文中针对大数量的规则图像碎片进行了拼接复原研究，在图像碎片缺少外形轮廓这一匹配特征和碎片数量庞大的前提下，提出了一种基于最小生成树原理的规则图像碎片快速复原算法。通