【摘 要】
：
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,
【机 构】
：
中国科学院研究生院计算与通信工程学院,冲国科学院合肥智能机械研究所,中国科技大学信息科学技术学院
【基金项目】
：
国家自然科学基金(No.31171456)
论文部分内容阅读
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。
其他文献
目的探讨自发性结直肠穿孔的病因、诊断及处理原则。方法回顾性分析4例诊断为结直肠自发性穿孔患者的临床资料。结果4例患者均行急诊剖腹探查术，横结肠部分切除术1例，乙状结肠
生态批评(ecocriticism)这个术语自2002年被引进我国之后,短短的几年里,已经引起学界高度的重视。曾繁仁、鲁枢元、王宁等知名学者发表著述对其进行探讨,《文学评论》、《文
新疆作为少数民族聚居地区,教育上自2006年开始全面实施少数民族学前双语教育,这里的双语主要指民族母语和汉语两种语言。如何让民汉幼儿更好地交往,是双语幼儿园中一个重要
随着经济全球化发展,中国本土汽车企业纷纷着眼海外市场,积极向海外扩张。经过多年努力,中国本土汽车企业已在国际市场营销中取得了一些成绩,但由于国际市场比国内市场环境复
<正>绘本是20世纪产生的图书品种,是现代社会的产物,是国际公认的最适合幼儿与低年级孩子阅读的图书。在国外,绘本产生已经有100多年的历史,
目前,随着社会市场经济的快速发展,内部控制制度在企业管理工作中发挥的影响越来越大。内部控制制度在船舶管理服务中的运用,逐渐成为船舶管理服务中重要的内容之一。如何结
性权利就是人们在法律的规制下,能够实施自主性性行为和表达性意愿的权利。近年来,越来越多的未成年人被性侵害的案件随着媒体曝光而浮出水面,从而引发了社会各界对于未成年
利用近红外漫反射光谱快速测定玉米淀粉、玉米、黄豆、黄豆饼粉、玉米蛋白粉、鱼粉、棉籽饼粉的水分、蛋白质、灰分、酸价、粗脂肪。采用偏最小二乘方(PLS)回归,建立测量光谱
发展农业、农村经济和增加农民收入一直是我国经济工作的重中之重。农村小额信贷在完善农村金融体系、发展农业和农村经济、帮助农民脱贫致富等方面具有重要作用。四川省是我
<正> 陶瓷装饰"釉中彩"是一种新工艺,其装饰方法与釉上贴花、釉上彩绘相似,是装饰在带釉的瓷胎上,它需用一种快烧窑炉,彩烧时间90～100分钟,温度为1100～1250℃.根据釉面温度适用