论文部分内容阅读
云计算MapReduce并行编程模型广泛应用于数据密集型应用领域，基于该模型的开源平台Hadoop在大数据领域获得了成功应用。然而，对于计算密集型任务，特别是迭代运算，频繁启动Map和Reduce过程将导致负载过大，影响计算效率。弹性分布式数据集（RDD）是一种基于内存的集群计算模型，有效地支持迭代运算，能够克服负载过大的问题。因此提出基于RDD模型的并行差分进化算法SparkDE。SparkDE首先将整个种群划分为若干个独立岛，然后将一个岛对应RDD中的一个分区，每个岛在RDD的一个分区中独立进化指定代