随着机器学习技术的广泛应用,其面临的实际问题也日趋复杂,问题规模不断扩大,且搭建机器学习系统的过程中需要专业人士的人工干预。而人工干预将导致时间和人力资源的大量消耗,限制了机器学习技术在各个领域的进一步落地使用。为了解决以上问题,本文针对机器学习系统搭建过程中的超参数优化问题进入了深入研究并提出了几种有效的解决方案。针对超参数优化问题,本文基于强化学习和元学习实现了一种超参数优化方法。该方法将超参数优化问题建模为连续决策过程以减小搜索空间,并将其扩展为马尔科夫过程,基于此设计强化学习智能体序列地选择超参数配置。同时设计预测模型对超参数配置性能进行预测而取代实际评估过程,从而提高整体优化效率,并且通过对预测模型交替执行训练和使用两阶段来保证预测模型的准确性。此外,引入元学习技术对预测模型进行元训练以利用历史任务上的经验,提高新任务上的优化效率。为提高智能体在新任务上的通用性和优化效率,本文提出了基于上下文的元强化学习的优化方法。其设计了上下文信息对历史任务经验进行保存和利用,同时从中提取任务表征帮助智能体决策。并采用简单高效的基于多任务目标的元训练方法帮助智能体获取历史经验。而在新任务适应阶段引入平方项惩罚技术对元参数在新任务上的更新进行限制以充分利用历史任务的经验。此外,为了进一步提高新任务的优化效率,本文提出了基于任务感知的上下文元强化学习的优化方法。该方法有效利用任务表征信息和任务解决经验快速解决新任务,极大提高了新任务上的优化效率。最后,本文通过在多个数据集上与其他先进优化方法的对比实验证明了本文所提出方法的优势,并通过相关消融实验证明了本文所提出方法中各个组件的科学性和有效性。