用于全局优化的分布估计算法

来源 :中国科学院自动化研究所 | 被引量 : 0次 | 上传用户:luciferr1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全局优化(Global Optimization)作为计算机科学和数值分析的分支,可简单归结为在某种判据准则下进行函数优化。全局优化的目标,就是对于给定的问题找到全局意义上的最优解。而对于典型的全局优化问题,目标函数通常为非线性,且存在很多局部极优。对于这类问题,传统优化算法往往容易陷入局部极优而难以对问题进行有效求解。同时,许多现实世界的问题都可归结为全局优化问题,如蛋白质结构预测、电路设计、任务调度、有限元分析等。因此对全局优化问题的研究始终是科研领域中的热点难点问题。   为了有效求解全局优化问题,人们设计了许多算法,其中演化算法(EvolutionaryAlgorithms,又称进化算法)作为一类重要的启发式算法,在全局优化领域得到了成功应用。演化算法是一大类借鉴达尔文进化论思想,模拟自然界物种进化过程,以种群演化的方式对问题空间进行搜索的方法的统称。在已有的各种演化算法中,历史最悠久、最为人所熟知的当属遗传算法(Genetic Algorithms)。而随着演化计算(EvolutionaryComputation,又称进化计算)领域的发展,一类新的演化算法——分布估计算法(Estimation of Distribution Algorithms)逐渐得到人们的重视,并且像其它诸多演化算法一样,在全局优化领域也得到了长足发展与成功应用。分布估计算法是从经典遗传算法衍生发展而来的一类新型算法,但与其他典型演化算法相比,分布估计算法最大的特点在于其不使用传统的交叉和变异算子,而采用对优质解进行建模的方式,来显式地描述潜在最优解在搜索空间内的概率分布,并通过这个估计得到的概率模型来指导后续搜索。由于引入了概率分布估计这一需求,许多传统机器学习方法在分布估计算法中得以应用。因此,分布估计算法也被视为机器学习与演化计算的交叉领域。   本文系统地介绍了用于求解全局优化问题的分布估计算法,回顾了分布估计算法的起源及发展,重点分析了分布估计算法在连续量优化问题上的性能,并针对现有方法的局限,提出了多项改进。本文的主要贡献有:   ①分析了数值计算精度对基于高斯模型的分布估计算法的影响,指出当前算法的缺陷,提出了协方差矩阵修复(Covariance Matrix Repairing)方法,在提高算法对计算误差的鲁棒性的同时,最大限度地保证了算法的真实性能。一些原本被认为性能不佳的算法,可以在该方法的帮助下得以性能上质的提升。   ②使用特征分析的方法,提出了一个统一框架ED-EDA(Eigen DecompositionEDA),用于描述任意基于多元高斯模型的分布估计算法。基于此框架,研究对比了已有的各种基于多元高斯模型但使用不同搜索策略的分布估计算法的性能。实验表明了种群规模与问题维数(搜索空间的大小)对于算法性能的影响,同时,不同搜索策略也可通过此框架得以公平对比,其各自的优缺点也同时得以充分展示。   ③在目标函数形状不规则的优化问题上,传统的基于单高斯模型的分布估计算法往往性能不佳。针对这一问题,提出了一种基于集群(ensemble)方法思想的混杂分布估计算法NichingEDA,探讨了启发式方法在分布估计算法这一范式中的作用。实验表明,即使不使用复杂模型,引入合适的启发式策略与简单模型相配合,同样可以大幅提升分布估计算法的性能。   ④分析了传统分布估计算法在问题维数持续增长时所面临的困难,针对基于多元模型的分布估计算法只能应用于低维优化问题(50维以下)的现状,提出了一种带有模型复杂度控制(Model Complexity Contro1)策略的分布估计算法框架EDA-MCC,将具备多元搜索能力的分布估计算法的应用范围拓展至高维连续量搜索空间(500维)。同时基于EDA-MCC在问题求解过程中所体现的对于问题特性的刻画能力,探讨了分布估计算法在全局优化领域的应用目标和发展前景。
其他文献
道路交通信息采集在智能交通系统中,担负着提供准确可靠的信息源以使整个智能交通系统得以顺利准确运行的重任。毫米波雷达交通检测器作为获取路面信息的一种方式,因其特有的优
无线传感器网络具有自组织、快速展开、抗毁性强等特点,在军事、环境检测、医疗健康、工业控制等方面有着十分广阔的应用前景。近几年来,随着无线通信、集成电路、传感器及微电
在大型投弹试验中,迫切需要能够全面生动地显示制导炸弹的动态飞行过程以及姿态,速度等信息。飞行过程的可视化不仅能实时地显示制导炸弹的飞行情况,而且可以给予作战系统以
电磁轨道炮是一种新概念武器,设计开发电磁轨道炮仿真系统是为了分析电磁轨道炮多方面的性能和特点。对电磁轨道炮仿真系统运行过程进行监控,以多种形式呈现仿真数据的变化情况
随着语音合成技术的发展,用户对语音合成效果也提出了更高的要求,尤其是多样化语音合成方面的要求。虽然现在的基于大语料库的波形拼接合成系统的效果不错,但是音库构建周期太长
学位
无线传感器网络(WSN)是当今热点研究领域之一,基于低成本、低功耗、体积小、自组织能力强等特点,WSN在军事国防、环境监测、城市交通等领域具有广泛的应用前景。利用WSN进行
全球卫星定位导航系统(GPS)是随着现代科学技术的迅速发展而建立起来的以接收导航卫星信号为基础的非自主式导航定位系统,该系统最初只用于军方,向民用开放后快速渗透到各行
机器学习的研究尤其是分类学习在过去的20年里取得了长足的发展,涌现了许多新的学习理论和方法,其中最重要的发展是支持向量机和AdaBoost理论的提出,它们都是基于判别函数的分类
学位
在很多通信系统中,特别是移动通信系统中,信道往往未知且快速时变的。基于训练序列的信道辨识和均衡技术将增加系统开销,降低通信系统传输效率,传统的盲辨识和均衡算法是基于高阶
近年来随着计算机技术的发展,基于ARM9的嵌入式应用越来越广泛,基于ARM9的CPU具有体积小,功耗小,控制能力强,接口丰富等特点,同时ARM9的CPU的应用也占据了嵌入式领域丰流市场。离子