论文部分内容阅读
经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统（HDFS）文件,为此,文中提出了单一输出文件的MapReduce编程模型：SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件“整合”为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的“块典型分布”和“块非典型分布”的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明：该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形