传统的数据分析与数据挖掘的步骤一般包括,数据预处理、特征选择、模型选择、超参数调优、模型评估等。其中合理选择数据挖掘算法是数据挖掘的核心步骤,并且在构建模型的过程中,不同的数据挖掘算法具有不同类别的超参数,同种算法选择不同的超参数值,模型的性能也会有较大的差异,因此需要反复调优这些超参数,才能使模型达到最优性能。然而目前超参数调优这项工作比较依赖数据工程师和领域专家的专业知识和相关经验,计算和调试都需要耗费昂贵的时间代价。因此针对特定算法自动的进行超参数调优显得尤为重要。本文以机器学习中的SVM、随机森林算法以及深度学习中的卷积神经网络为例,使用贝叶斯优化算法自动的对超参数进行调优。通过对贝叶斯优化算法的改进和提升解决三大问题,一是使用元学习初始化贝叶斯优化算法的配置,提高算法的性能和效率;二是采用改进的Relief算法评估超参数的重要性;三是使用蒙特卡洛马尔科夫链优化贝叶斯高斯核函数中的超参数,加速贝叶斯优化算法在深度学习中超参数调优的计算。本课题使用open ML平台上的数据集进行相关实验,主要工作如下:（1）提出了一种使用元学习初始化贝叶斯优化配置的新算法—MLI-BO,该算法能够为贝叶斯优化算法提供合理的初始化配置,加速贝叶斯优化算法的启动及优化进程,并获得良好的性能。实验分析结果显示,MLI-BO相比贝叶斯优化算法和随机搜索算法能够为数据集提供更好的超参数初始配置和更短的优化时间;（2）采用改进的Rlief算法评估机器学习算法中超参数重要性,了解算法不同超参数的重要性排序,减少超参数优化的数量,提高算法效率。实验结果显示,改进的Relief算法能够为SVM和随机森林算法提供超参数重要性排序;（3）使用蒙特卡洛马尔科夫链优化贝叶斯高斯核函数中的超参数,加快贝叶斯优化算法在深度学习上的计算速度。实验结果表明,基于蒙特卡洛马尔科夫链的贝叶斯优化算法分别在MNIST数据集和CIFAR数据集上的错误率为3.5%和24.5%,错误率低于其它超参数调优算法。