在问题规模不断增大的背景下,机器学习和深度学习的应用门槛越来越高,且需要极具经验的人工干预。然而,人工干预往往需要耗费大量的时间和计算成本。为了更好的解决上述限制,本文针对机器学习和深度学习流程中的超参数优化以及模型选择两个流程进行深入研究并实现高效的算法。对于超参数优化问题,本文以强化学习作为技术支持,实现了一种超参数优化方法。该方法通过序列选择各个超参数的方式,能够减少每一步超参数的搜索空间,降低探索难度,从而提高优化效率。同时,为了解决传统超参数优化方法中评估耗时的问题,本文通过使用预测模型直接评估超参数配置。并且,为了防止预测模型引入过大的误差而导致次优策略,该方法计算预测模型使用前后策略的距离以动态控制模型的使用次数。为了进一步提升时间效率,本文通过利用历史的优化经验,其中历史的优化经验包括历史其他优化任务的经验和当前任务的优化经验。除此之外,相对于传统优化方法,该方法通过超参数优化不仅能够提升模型的准确度,也能够降低模型在实际环境中的延迟时间。对于模型和超参数的双重优化问题,本文基于强化学习框架,实现了一种多分支结构的智能体,其中包括一个算法控制器和多个超参数优化控制器。具体的,通过算法控制器选择算法并以此选择对应的超参数优化分支。同时,在该问题的解决上同样使用了超参数优化方法中的预测模型和使用方式来进一步提升时间效率。最后,本文通过在多个数据集上对比当前比较先进的优化方法,实验结果验证了本文所提出方法在时间效率和优化结果方面都是可行且有效的。同时,本文也进行了合理和公正的消融实验来说明各个组件的有效性。综合所有实验结果,可以说明本文所提出的方法能够在多个性能指标上优于其他优化方法。