随着测序技术的巨大进步和生物信息学的迅猛发展，科学研究中由临床病人产生的测序数据呈指数增长，大量的生物信息数据对存储的需求也随之增长，大约每12到18个月就会增长10倍，这远远超过了摩尔定律的参考值。因此，如何消耗更少的存储和计算资源来高效地对海量测序数据进行分析并筛选出一些重要的特征基因或具有显著差异的基因集，已经成为一项极其重要的研究课题。
　　癌症基因组图谱(TCGA)是一个具有里程碑意义的癌症基因组计划，它从分子上表征了32000多个原发癌症样本，分别归属于39种癌型及其亚型，且具有对应病人的正常细胞样本。TCGA目前产生了超过2.5PB容量的基因组、表观基因组、转录和蛋白质组数据，传统的单机式处理系统难以处理如此大量的数据集且存在着诸如性能不足、定制性差、二次开发困难以及结果不稳定等问题。因此迫切需要构建一种效率高、成本低并且计算结果稳定的数据处理系统，以统一处理愈发庞大的基因谱表达数据，从而依靠Hadoop平台搭建的分布式计算系统应运而生。
　　本文主要以分布式运算框架MapReduce、Spark为基础，同时以Hadoop平台作为数据处理环境，搭建了分布式数据处理系统。针对BroadGDACFirehose数据库中来自TCGA数据库的1098套乳腺癌、631套结肠癌、551套肺鳞癌基因表达谱数据作为样本，每个癌症样本的表达谱又包括20532种基因的表达值，从对比三种癌症自身的原发癌样本与正常组织样本，以及原发癌样本与转移癌样本之间的基因通路富集分析出发，到与之对应的生物学功能分析。目的是挖掘原发性癌症和转移性癌症之间的差异表达基因及其特征基因选择，从而与实际的临床患癌病人追踪数据相结合，绘制出不同癌症中的特征基因表达与对应患癌病人之间的未来生存率关系曲线图，以期为临床患者的预后和生存期预测给予一定帮助。