随着互联网的飞速发展与广泛普及,网络入侵的种类和数量同样与日俱增,入侵检测作为计算机系统和网络安全领域的重要组成部分,已经成为当今信息时代的研究热点。然而,传统的入侵检测技术已经难以完成越来越复杂的入侵检测任务,传统的防火墙、用户认证以及数据加密技术,在一定程度上不仅缺乏检测入侵的智能,而且检测效率也较低。因此,我们需要将更智能更高效的技术应用于入侵检测中。机器学习作为人工智能的核心,是赋予计算机智能的根本途径。机器学习模拟人类的学习行为,能够通过学习已有的知识并重新组织已有的知识结构来不断改善自身的学习能力,从而更高效地学习新的知识。在如今的大数据时代,机器学习应用在人工智能的各个领域,计算机安全领域当然也不例外。入侵检测的本质是一个分类问题,而机器学习能较好地完成各种分类任务。本文首先通过将机器学习应用到入侵检测技术中,评估了各类机器学习算法在入侵检测中的效果;在此基础上,通过研究各种机器学习算法在入侵检测中所展现的优势和缺陷,提出了对应的改进模型和优化方法;最后对入侵的一种广泛而普遍的具体存在方式——恶意软件进行了全面而深入的研究。本文的主要研究内容和创新成果包括:(1)通过分析入侵数据的来源及特点,构建了以机器学习算法为检测方法的入侵检测模型,具体分为数据生成、数据提取、数据分类和性能测试四个阶段。首先本文研究了有监督和无监督学习算法,包括最近邻、支撑向量机、朴素贝叶斯、决策树、神经网络以及K-means算法等,针对基准入侵数据集的特点提出了相应的改进算法;然后采用基准入侵检测数据集NSL-KDD分别对两种类型算法进行训练,为不同算法选取了合适的参数建立学习模型,完成了二分类入侵检测和多分类入侵检测任务;最后根据性能指标对有监督和无监督学习算法的入侵检测效果进行了评估。(2)针对NSL-KDD数据集中存在的特征冗余问题,本文提出了一种基于梯度下降树不同粒度特征的入侵检测算法。利用GBDT进行特征组合,结合KNN分类器对GBDT-KNN算法的入侵检测效果进行了实验,实验结果表明GBDT-KNN算法的入侵检测效果显著优于单一KNN算法,而且对比其他单一机器学习算法均具备更好的性能。(3)针对入侵检测技术的适应性和泛化能力问题,本文提出了一种基于深度学习模型的入侵检测算法。采用卷积神经网络模型提取数据特征,将输入神经网络模型的数据集转换成为二维数据集合,通过CNN模型提取特征图。本文利用CNN中图像处理的思维方式,与SVM分类器相结合,对CNN-SVM算法的入侵检测效果进行了实验,实验结果表明CNN-SVM算法具有比传统机器学习算法更高的检测率,具有比基于特征工程的算法更好的适应性和泛化能力。(4)本文研究了基于集成学习方法的入侵检测技术,针对集成学习模型生成困难的问题,提出了基于多层感知器神经网络和AMGA2算法的集成学习优化方法。首先根据前文实验得到的机器学习算法入侵检测效果评估,本文选中了表现较好的多层感知器神经网络作为集成学习中的弱分类器,采用MLP构建了用于入侵检测的集成学习模型;然后分别以MLP和基于Boosting和Bagging的MLP集成方法作为基准算法实施对比实验;最后根据性能指标对本文提出的集成学习优化方法的入侵检测效果进行评估。实验结果表明,本文提出的集成学习优化方法比原始的MLP方法、Boosted-MLP集成方法和Bagged-MLP集成方法都要好,与现有的集成方法相比,可以更好地优化弱分类器中的权值。本文提出的方法可以成为解决集成学习中多目标冲突,训练更好的集成学习模型的通用方法。(5)基于前文提出的研究技术,本文针对恶意软件检测的应用问题展开了研究。本文基于杜鹃沙盒与WEKA机器学习软件构建了一套完整的恶意软件检测流程,采用更多种类的机器学习算法用于真实环境中恶意软件的检测。实验结果表明,IBk和J48这两种算法检测效果较好,从而能够在构建动态恶意软件检测系统时,采用它们作为检测未知恶意软件的候选技术,也能够作为构建基于集成学习的恶意软件检测系统的弱分类器。本文实验结果对于今后恶意软件检测中的应用具备一定的指导作用和实用价值。