随着移动互联网与计算机技术的快速发展,人类逐步踏入一个由庞大数据所支撑的信息社会。近年来,对于海量数据的存储和计算成为学术界以及工业界重点关注的问题之一,尤其是以Hadoop和Spark为代表的云计算生态组件被广泛应用于数以千计的业务场景下。但是,随着数据中心规模的不断扩大,运维及资源开销成本的日益激增,人们在追求计算性能提升的同时,开始关注于偌大集群的资源优化问题。基于上述背景,本文着重对Hadoop及Spark分布式计算平台在资源消耗方面的优化问题进行研究,具体工作主要包含以下四个方面:1.提出了一种面向Hadoop2.0的资源消耗预测模型。模型构建包含三步:首先,构建单任务模型,基于MapReduce流程仿真与日志分析,拟合单任务资源消耗与数据量间的变化关系;其次,利用皮尔逊假设检验方法,对并行场景下MapReduce各阶段执行时间的分布进行估计;最后,提出以平均场模型为核心的任务再生与调度策略,将赋予时间估计值的单任务模型在时间轴中进行横向追加与纵向累积,以平均效应替代叠加效应,实现对Hadoop2.0集群各项资源消耗(CPU、内存、磁盘读写、网络读写)及应用程序执行时间的预测,并在真实生产集群中验证了该模型的有效性。2.设计了一种广义分布式云计算环境下的资源消耗基准成本模型。首先定义了各项资源单位时间成本消耗的计算方式,以此消除资源实例间的量纲差异;之后,设计了基于时间定积分的整体成本计算模型,对各项资源消耗成本进行统一计算。该模型有助于资源消耗的计算整合,并可以可插拔的方式与任意成本优化算法进行耦合。3.构建了一种基于数据持久化的Spark资源消耗成本优化模型。首先,定义成本最优化问题,将Spark计算流实例化为有向无环图,并将有向边赋予成本权重;其次,设计成本优化策略,通过对比图中各RDD计算资源与存储资源的成本,提出局部预优化策略。针对Spark链式计算的数据依赖特性,进一步提出前驱数据集合优化策略,用于更新被持久化RDD前驱数据分片的成本消耗。此外,该模型通过引入故障率参数来构建针对单任务长链条计算场景下的持久化数据释放策略,对整体成本消耗做进一步优化。通过粗细粒度的实验分析,验证了该方法的可行性和有效性。4.提出了一种面向分布式云平台资源优化模型的系统集成架构。该架构包含数据层、核心决策层以及应用层,具有较高的可扩展性,可实现由日志输入便可得到输出结果的应用模式,避免过多人工干预,较好地满足工业生产所需。两项案例展示与分析表明,该系统在使用方法及输出形式上具有较好的可用性和直观性。