高级持续性威胁（Advanced Persistent Threat,APT）是由高级黑客组织针对特定目标实施的长时间的网络攻击活动,它们的目的是窃取有价值的机密数据或进行网络间谍活动。基于网络流的命令和控制（command and control,C＆C）通道检测是一种有效的发现APT攻击的方法。这是因为目标系统中隐藏的恶意软件必须与外部C＆C服务器通信以接收命令或发送数据,因此网络流是不可避免的。近年来,针对APT攻击检测的研究已经取得了很大进展。但目前的工作依然面临着以下问题:1.难以检测未知的APT攻击。现有的工作提取的特征大多依赖已经披露的APT报告或APT恶意软件的研究结论,但是这些特征并不一定都是普适的。已有工作面临两个挑战:即APT攻击的隐蔽性和灵活的攻击技术。以上这些因素导致现有工作难以检测未知APT攻击。2.现有基于机器学习的方法难以面对对抗样本的攻击。现有的检测APT攻击的方法大多使用了机器学习方法,然而已有工作证明了机器学习算法在面对对抗样本时是缺乏鲁棒性的。给样本添加微小扰动能够致使检测模型给出错误输出。APT组织大多是受到政府赞助的高级黑客组织,他们掌握着充足的资源。因此对于APT组织来说,在保证攻击正常实施的同时,对攻击特征进行微小改变,从而躲避检测是可能的。本文主要针对以上两个问题进行研究,具体工作内容如下:1.为了检测未知APT攻击,本文设计了一种新的基于网络流的APT检测方法。该工作的灵感来自两个观察,不同的APT攻击共享入侵工具和服务以及未知的恶意软件是从现有的恶意软件基础上演变而来的。因此,不同APT组的恶意软件具有一些不易被发现的共享属性,这导致在不同的APT攻击中,恶意软件与C＆C服务器通信的网络流中存在一些隐藏的共享特征。在此基础上本文提出了一种检测未知APT攻击中隐藏C＆C通道的方法。首先,利用深度学习技术从已知的多类恶意流量样本中挖掘出恶意软件与C＆C服务器通信的网络流共享特征。然后,使用合适的分类器来检测未知的C＆C通道。最后,本文在公共可用数据集上测试了该方法。实验结果表明,该方法在处理未知恶意网络流时F1分数达到了0.968,这将有助于发现未知的APT攻击。2.已有工作已经证明在训练集中加入对抗样本可以提高模型对对抗样本的鲁棒性。基于此,本文提出使用生成式对抗网络（GAN）来对APT检测模型进行对抗训练,从而提高检测模型对对抗样本的鲁棒性。本文使用生成模型来快速生成对抗样本,已经训练好的APT检测模型作为判别模型,通过生成器与检测模型的对抗训练来提高检测模型对于对抗样本的鲁棒性。实验结果显示,经过对抗训练之后的检测模型相比原始模型在原始样本上F1分数下降了0.025,但在GAN生成的对抗样本和Wu的方法生成的对抗样本上F1分数分别提高了0.918与0.12,这表明经过GAN对抗训练之后的APT检测模型能够显著提升对于对抗样本的鲁棒性。