基于Hadoop的小文件分布式存储技术研究

来源 :机电工程技术 | 被引量 : 0次 | 上传用户:lc813
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
HDFS (Hadoop Distributed File System)以其高容错性、高伸缩性等优点,允许用户将Hadoop部署在低廉的硬件上,广泛适用于大文件存储。然而对于海量小文件,因为内存开销过高,因此对数据的存储技术提出了更高的要求。基于Hadoop分布式文件系统(HDFS)架构,研究小文件在Hadoop架构下的数据处理策略,通过实验将其与传统的文件系统的读写、计算速度进行比较。
其他文献
长安汽车美国研发中心于2011年1月18日在“汽车之城”底特律正式挂牌成立。至此,继意大利、日本、英国等海外中心之后,长安汽车“五国九地、各有侧重”的全球研发布局基本完善
什么是中低收入家庭?其具体标准和概念是什么?目前从国家到各省、各市尚无具体规定,特别是对认定中低收入家庭的一些原则性规定,各级政府从来没有权威性的解释。这无疑对各城市
2012年11月21口。北京市生猪产业技术体系创新团队首席专家云鹏研究员在北京市畜牧兽医总站与到京来访的台湾大学畜牧系林恩仲教授、王佩华教授和厦门国寿种猪开发有限公司总
1山东省水资源及畜牧业现状山东省属于暖温带季风气候,全年70~80%降雨主要集中在6~9月。全省年平均淡水资源总量为303亿m3,仅占全国水资源总量的1.1%,人均占有水资源量仅334m3,
肉鸡腺胃炎是一种以腺胃胀肿、粘膜出血、溃疡为病理特征的疾病,引起本病的病原或病因复杂,尚无定论.近几年来,本病呈上升的趋势,偶见于蛋鸡.采食量低下,鸡群大小不均匀,病程
随着综放开采技术的广泛应用,阳泉矿区相关的一些针对性技术问题也越发明显,尤其经历相邻工作面采动影响的综放面沿空侧回采巷矿压显现剧烈,严重制约了综放工作面生产潜力的
<正>马浑睛虫病是马丝虫多见于腹腔,有时见于胸腔、阴囊、腹膜下、胸膜下、肺、肠等处,幼虫有时见于眼房液内,被称为"浑睛虫"。笔者总结工作中的一些经验,介绍如下:(1)六柱栏
期刊
“目前正在新西兰、巴西等地选址建养牛场,生产牛肉供应同内市场。”继在新西兰投资生产婴儿奶粉之后,11月29日在成都召开的第三届中国上市公司领袖峰会上,新希望集团董事长刘永
介绍了张店钢铁厂新区烧结自动配料计算机控制系统,主要包括电气控制设计原理、系统的软件配置与组态以及控制功能的实现。
通过专利转让,越来越多的发明者成为富翁。但在专利转让过程中也涉及到税收问题,通过有效的税务筹划,发明者能获得更多。