伴随着各大互联网公司的飞速成长,大量的互联网应用如雨后春笋般出现在人们的生活中。大数据时代事实上的标准Hadoop YARN (Yet Another Resource Negotiator)也被成功地应用到越来越多的业务场景中。YARN对批处理任务的执行效率得到了较大提高,然而,传统的YARN在分配资源后应用所得到的资源量固定不变,这种资源分配方式对运行在其上长任务运行的支持存在不足。长任务会以后台服务的形式在集群中长期运行,其每个并行的子任务对资源的需求量会随着应用的不同阶段的忙闲而发生变化。在这种情况下,如果为集群中运行的任务分配固定大小的资源量,将无法满足应用在运行期不同阶段的资源需求。同时,现有的Hadoop集群在运行期的集群规模恒定,Hadoop集群难以在运行时期根据自身对资源的需求扩充集群规模。这对资源需求变化的长任务来说也缺乏足够的灵活性。针对以上YARN对长任务资源分配的缺陷,本文提出了一种支持长任务的并行计算动态资源分配机制的解决方案EDCP (Elastic Data Computing Platform), EDCP结合了云计算环境和YARN各自的优势,使得EDCP可以在运行期扩充集群的规模,同时,EDCP根据每个子任务的负载优化长任务的资源使用量,从而使可以为应用创建更多的容器资源,并在集群资源不足时为集群部署更多的计算节点,为长任务的运行提供了更灵活的资源分配机制。本文通过实验对EDCP的功能和性能进行了测试,验证了 EDCP可以在集群运行时水平扩展集群的规模,实验结果显示与传统YARN相比,可以将WordCount和TeraSort等计算密集型任务的运行时间缩短至原有时间的0.7至0.9倍。