在现实中经常会遇到需要解决一系列不同参数下的优化问题,例如目前的电路设计中的参数优化问题。电路参数优化是一项非常耗费精力的工作,对设计者的经验要求较高。虽然现已经有许多优化算法,例如粒子群优化和差分进化算法,但是都需要进行非常广的搜索和多次迭代才能找到最优解,非常费时。另外,由于许多经典的电路拓扑是不变的,只是电路中的参数以及优化目标有所不同,那么如果能线下训练一个性能优异的优化器,它能在特定拓扑的电路参数优化问题上表现良好,并且能够在未来的不同设计任务、目标下进行重用,是非常有意义的。由于优化算法的过程与强化学习中的任务有非常高的相似性,所以提出了基于强化学习的参数化优化算法。强化学习中有策略函数和动作-价值函数的概念。强化学习的目标是在马尔可夫决策过程的模型下,通过评估累计回报来学习到最优策略。而这里的最优策略即可作为训练好的优化器,能够根据当前的状态信息作出动作以得到未来的最高回报,这一任务与优化问题中知道优化变量的信息然后寻找目标函数的最优值这一任务一致。通过初始化不同的参数生成多个不同的函数作为元训练集,训练一个具有一定泛化能力的优化器模型,使得它在新的参数下的优化问题下也能迅速、鲁棒地得到最优解。在后面一些数学例子和电路优化的例子中显示强化学习的方法取得了比较好的效果。本文的创新点有:·引入目前的强化学习算法来学习如何对问题进行优化;·固定电路拓扑,将电路设计的需求和目标转化为适合强化学习中的任务;·提出参数化优化,利用强化学习中的泛化性能,通过在某些问题下学习之后能够解决不同参数下的新任务。