近年来数据泄露事件频发,给个人、企业乃至国家造成了重大经济损失,而涉及军事情报等敏感信息的泄露,更严重威胁到整个国家的安全和稳定。窃密型复杂网络攻击是敏感信息外泄的关键外因,因此,需要从技术层面对窃密型复杂网络攻击进行研究。然而,该攻击形式具有持续周期长、方法隐蔽多样、攻击手段定制等特点,所以窃密型复杂网络攻击检测技术的研究已成为业界关注的热点和公认的难题。本文主要对窃密型复杂网络攻击过程进行形式化描述,并在此基础上,聚焦关键攻击阶段,即攻击载荷投递和恶意软件命令控制建立,来进一步识别和预测窃密型复杂网络攻击,涉及到的关键技术包括网络攻击建模、恶意软件检测、网络攻击预测。本文首先对以高级持续性威胁(Advanced Persistent Threat,APT)为代表的窃密型复杂网络攻击的典型案例、定义、建模方法进行系统调研,然后分析总结国内外主流安全公司推出的APT检测方案,最后对比分析窃密型复杂网络攻击建模与检测中存在的主要技术难题和解决方案。基于流量的命令控制检测和基于程序分析的恶意软件识别是APT检测的研究热点,这两方面的研究虽取得了显著成果,但仍存在多个技术难题阻碍其在实际网络环境中的应用。这部分研究工作为后续研究提供了参考,本文的主要研究内容分为以下四个部分。第一,本文提出了一种新的模型来形式化描述窃密型复杂网络攻击过程,对APT攻击检测、预测研究提供了理论指导。本研究针对传统网络攻击建模方法在描述窃密型复杂网络攻击过程中不能呈现参与攻击过程的目标节点的动态变化,且没有考虑实际攻击中人际交互影响的问题,在杀伤链模型基础上,提出靶向性复杂攻击网络模型(TCAN)。该研究在真实网络环境中进行模拟攻击实验,实验结果表明靶向性复杂攻击网络模型能够更加准确地刻画窃密型复杂网络攻击的随机化特性,且在无标度网络中的模拟实验结果表明该模型具有可扩展性。第二,本文设计了融合内部固定设备端、移动用户和设备侧、涉网边纵向边界三个方面的APT纵深检测防御系统,同时提出了基于邮件内容的包含恶意链接的鱼叉钓鱼邮件识别方法(CS-SVM)。本研究针对传统基于SVM的钓鱼邮件检测方法漏报率高,且新型钓鱼邮件使用短链接等特征的问题,使用布谷鸟算法来优化当前有效的SVM核函数参数,并引入了域名相似性和短链接作为2个新特征。本研究在实验数据集中进行测试,实验结果表明使用CS-SVM的邮件分类方法相比采用默认参数的分类器具有更高的识别精度,钓鱼邮件漏报数降低率提升了30%以上,且新特征能进一步提高钓鱼邮件检测率。第三,本文提出了一种基于无监督的窃密型复杂网络攻击恶意软件域名实时检测方法。该研究针对真实网络环境缺乏窃密型复杂网络攻击训练样本问题,结合ALEXA排名和VirusTotal的判断得分筛选可疑域名,在去一差分化信息熵的基础上,提出一种基于全局异常树的异常检测算法(GAF)来进一步识别恶意域名。本方法在DNS日请求数不少于30万的移动网络中进行验证,实验结果表明GAF的检测准确率比表现最好的异常检测算法提高了10%,与其他传统的异常检测算法相比,识别率提高了20%以上,且检测时间至少提升了一个数量级。第四,本文构建了基于树型结构的窃密型复杂网络攻击预测模型,可以有效地对攻击目标进行预警。本研究针对实际网络环境中“端”、“侧”、“边”检测产品提供的检测证据间冲突与包容共存的问题,提出了一种基于树型结构的窃密型复杂网络攻击预测方法。该方法引入了安全事件信任度,并利用DS证据融合理论对不同安全事件的综合信任度进行计算更新,进而预测当前网络环境可能面临的后续攻击。模拟实验结果说明该预测方法具有较好的扩展性和实用性。