论文部分内容阅读
自动机器学习是指在完全没有人工干预的条件通过算法自动的完成机器学习的完整设计流程,其核心是要实现包括模型选择、特征选择、参数调优等环节在内的自动化设计。自动化机器学习能够给研究者在已有问题上带来新的研究思路,并降低人工智能技术在各工业领域的应用门槛,已成为当前人工智能最前沿的研究方向之一。本文主要针对自动机器学习中的架构搜索方向下的两个子领域展开研究,分别是机器学习模型结构搜索和神经网络架构搜索。机器学习模型结构搜索研究如何自动设计机器学习模型集成的方式,通过自动尝试集成不同模型的优点得到优于单模型的集成模型。神经网络架构搜索研究如何自动设计神经网络架构,通过自动生成新的神经网络架构进行训练找到适合任务问题的网络架构。在机器学习模型结构搜索研究中,我们定义了一种基于图的模型集成表达形式,提出了将图拆分成层单元的组合方案;然后将图结构结合遗传编程算法,定义了新的随机算子、交叉算子和变异算子。我们将机器学习模型作为图结构中的节点,数据在图结构中各个节点之间传输,用遗传编程算法对图结构展开搜索,以此来找到机器学习模型的集成结构。我们将算法在PMLB十五个分类任务上展开模型搜索,并同时比较多个其他方法。实验结果表明,本文提出的方法在测试数据集上的分类效果优于传统机器学习方法和其他自动化机器学习方法。同时展示了搜索过程中最优模型准确率提升时模型结构所经历的变化,发现回归模型在集成的结构中有提升准确率的作用。在神经网络架构搜索中,我们基于贝叶斯优化神经网络架构搜索方法展开研究,对于优化采集函数的算法提出了改进。本文采用了蒙特卡洛树搜索作为优化采集函数的搜索策略,搜索时控制树的宽度与深度两个搜索方向,平衡探索与利用的关系优化搜索结果,同时基于算法原理优化搜索的时间。我们在两个分类图像数据集上展开神经网络架构搜索的实验并与基于模拟退火的方法(Auto-Keras)进行比较,最终实验结果表明,我们所提出的搜索策略效率更高且搜索得到的准确率更高。同时展示了我们与对比算法搜索到的神经网络架构,发现我们的模型复杂度更小,更不容易过拟合。