近年来,容器因为其轻量、灵活和快速部署等特点被业界广泛应用,成为云时代的基础虚拟化技术。然而,容器的资源隔离机制、内核共享特性以及其镜像源的开放态度在便捷用户的同时也埋下了巨大的安全隐患。随着新型容器漏洞、容器逃逸方法、针对容器的攻击手段等容器安全问题的逐渐揭露,业界为保证自身业务的安全与稳定对于容器应用产生恐慌,容器安全恐成云时代来临的巨大阻碍,针对容器场景的入侵检测技术研究迫在眉睫。系统调用轨迹数据是进程在系统层面最直接的行为映射,也是一直以来容器入侵检测中最细粒度的数据来源。同时,机器学习与深度学习领域的快速发展为基于系统调用数据的容器入侵检测技术赋予了新的活力。现阶段基于系统调用数据的容器入侵检测研究仍面临以下几个问题:（1）容器进程产生的系统调用轨迹数据量极大且包含大量冗余信息,现有入侵检测模型对于系统调用数据的特征抓取能力变弱,模型准确性较差。（2）一直以来缺乏一种行之有效的实时异常检测方法以应对在容器进程生命周期内的突发攻击活动,现有容器入侵检测方法实时性不强。（3）现有容器入侵检测方法在实际应用中缺乏足够的鲁棒性,在面对部署环境快速变化、针对模型的攻击事件发生时其检测性能均会降低甚至失灵。针对以上问题,本文通过对容器入侵检测技术研究现状进行分析,并对系统调用数据的预处理和模型训练等重要环节进行深入研究,旨在利用机器学习与深度学习技术提高容器环境下基于系统调用数据的入侵检测能力,增强容器的异常检测性能,成为容器安全稳定运行的有力保障。本文的主要研究成果如下:1.针对容器进程产生的系统调用轨迹数据过长导致入侵检测模型特征提取能力下降,准确性差的问题,提出一种融合图卷积与深度全连接网络的容器入侵检测模型。在该模型中,首先对训练数据进行数据增强以提升数据的特征表达能力。然后基于概率切分规则得到系统调用轨迹的短序列特征表示、并在原有系统调用序列的图表示方法的基础上增加了边权重信息,得到与系统调用轨迹长度无关的局部语义与总体图结构联合特征。最后设计图神经和深度全连接融合网络自动获取特征并输出入侵检测结果。在ADFA-LD与AWSCTD数据集上的实验表示,该模型在保证低误报率（3%与4%）的同时具有高入侵检测准确率（96.5%与95.4%）,另外,实验表明此模型具有更好的泛化性。2.针对在面对突发网络攻击活动时,现有容器入侵检测模型难以即时预警,检测实时性差的问题,提出一种实时性增强容器异常检测方法。首先在基于完整轨迹数据与随机森林模型的容器入侵检测一般流程中添加轨迹切片与处理模块,通过对系统调用数据流切片的方式将模型入侵检测的时间点提前,然后基于集成学习思想分别构建系统调用轨迹片段与完整轨迹的异常检测模型并将其结果进行有机结合,同时设置各个模型的更新反馈回路。在ADFA-LD数据集上的实验表明,该方法不仅对原来一般检测流程的异常检测准确率有所提升（达到99.3%）,同时也实现了针对突发攻击活动的高实时性容器异常预警功能暨在异常行为开始后的相当短时间间隔内即可检测出异常。3.针对现有容器入侵检测模型在实际应用中因部署环境变化或攻击事件发生等情况导致的检测性能下降,缺乏鲁棒性的问题,提出基于多条检测流的鲁棒容器入侵检测方法。首先基于系统调用的三种数据格式分别设置三条检测流并在其中嵌入数据预处理、模型训练代理、输入代理等组件。然后通过集成判决模块将以三种数据格式系统调用数据为基础训练的半监督学习模型、无监督学习模型、有监督学习模型三类模型的判决结果进一步进行结合。最后,通过数据库更新机制增强模型训练集与实际环境的跟随特性,进一步提升本入侵检测方法在实际应用环境中的鲁棒性。在数据集与实际应用环境中的实验表明,本文所提出方法在面对数据投毒攻击时检测性能几乎不变,在实际应用中检测性能随环境变化产生波动但最后仍能回到较高水平,具有强鲁棒性。