深度学习、神经网络已经在各行各业的到了巨大地发展,而使用神经网络进行计算、预测时需要使用者提前对网络的各种参数进行提前定义。在早期时候,多使用经验值进行参数的调整,这种方法效率低,参数的选取大大影响了计算的效率。自动机器学习的出现一定程度上缓解了这个问题,本文主要关注自动机器学习中的超参数优化问题。超参数的梯度难以获取,在以往的研究中,无需梯度的黑盒优化是常用超参数优化方法,但评估代价高,计算开销大。因此在自动机器学习的超参数优化过程中,如何大幅降低黑盒优化时的计算开销,进行有效地参数调整成为研究的难点和热点之一。自然启发优化算法是受到自然界中动物、植物的行为或习性的启发,通过对这些自然现象的研究和建模,提出的一种无需梯度的黑盒优化算法。自然启发优化算法因其无需梯度、容易跳出局部最优的特点,近年来在许多领域得到了应用,也适合于超参数优化问题。本课题从自然启发优化算法和多保真度超参数优化两个方面展开系统的研究。在自然启发优化算法方面,通过研究近年来新提出的算法,改进和补充了进化算法框架。在超参数优化方面,提出一种基于自然启发优化的具有多个保真度级别的递级优化的方法。并选择自然启发优化算法中,经过测试后性能较好的鲸鱼优化算法进行了实验验证。本文选择了 4个常用的图像分类数据集,以优化三层卷积神经网络的8个超参数为目标进行实验。并对比随机搜索法、人工调参和本文提出的多保真度优化方法的结果。实验结果表明,本文提出的多保真度超参数优化方法能够有效降低超参数优化过程所花费的时间开销。