论文部分内容阅读
互联网技术的飞速发展,各领域产生的数据规模呈爆炸式增长,大规模数据处理技术成为各研究领域的热点。现实应用中的许多优化问题都展示出了大规模的特性,使得数据优化领域也进入了大规模时代。由于这些优化问题高度复杂,无法采用传统的数学方法有效求解,而进化计算是一类求解复杂优化问题的高效方法,但是这类方法在求解大规模优化问题时,由于问题维度的上升,使得搜索空间以指数级增长并且搜索空间的特性也发生了改变,求解性能下降,面临“维数灾”的问题。因此提升进化算法求解大规模优化问题的精度与效率是目前学术和工程应用领域的研究热点。分布式差分进化算法即结构化种群的差分进化算法,是一种具备很强竞争力的优化方法。近年来,其各种改进版本已经被用于求解大规模优化问题。本文以提高分布式差分进化算法求解大规模优化问题的精度与时间效率为目标,研究了基于分布式计算框架Spark并行化分布式差分进化算法的方法,并提出自适应分布式差分进化算法提高算法在处理大规模优化问题的收敛精度。本文主要工作如下:(1)基于Spark平台并行化DDE,提出了基于不同机制的两种迁移算子的实现方式并基于自己部署的集群环境进行实验,分析了两种不同迁移算子的实现对于执行时间与内存消耗的影响。与此同时,也比较了两种不同实现在不同计算资源下的运行加速比。实验结果表明,基于Shuffle操作实现的迁移算子效率更高,且在两种实现下时间加速比随着核数的增加不断提高。(2)针对分布式差分进化算法中固定的种群资源不能被更好地利用与重新安排地问题,本文提出子种群变异算子适应策略,其基于学习阶段观察到子种群状态,更新下一个阶段每个子种群应用的变异算子,使得固定的种群资源在整个进化过程中更多地应用表现性能较好的变异算子,提高了分布式差分进化算法求解大规模优化问题的精度。实验基于所提出的并行化DDE的方法实现该算法并在CEC’2013 LSGO标准测试函数上进行实验,结果表明,与现有的DDE算法的变体PDE和MPEDE相比,DDE-SMS算法在大部分测试函数上的寻优能力与收敛性能上要优于上面两个算法。