网络攻击技术的不断发展使得网络空间中未知网络威胁的数量急剧增加,严重威胁关键信息系统等基础设施的安全。然而,现有方法难以在大规模网络系统中精准检测未知网络威胁。为此,本文研究了基于机器学习的未知网络威胁检测方法。在海量多源异构的数据中识别未知网络威胁的活动和意图,可以帮助防御者发现潜在的安全风险并指导其及时采取响应措施,是网络空间安全态势感知中的重要研究内容。本文通过梳理归纳未知网络威胁检测领域的研究现状,总结了当前方法存在的主要问题,研究了基于机器学习的未知网络威胁检测方法,目的在于提高大规模网络系统中的威胁检测能力,缩短网络攻击发现时间,有效支持网络安全态势感知与防御决策。本文首先分析了未知网络威胁检测的研究背景与现状,指出了当前方法存在的主要问题,明确了本文的研究范围和基本思路。在此基础上,本文的主要研究内容与创新点如下:1)针对在大规模网络系统中未知网络威胁检测缺乏实现思路的问题,提出了数据驱动的未知网络威胁检测框架。首先,提出了一种网络安全检测中的数据分类方法,并基于此设计了一个数据驱动的未知网络威胁检测框架,并进一步给出了各检测方法在应用时所面临的关键问题,为未知网络威胁检测提供了理论支撑;2)针对现有方法在大规模网络系统中存在难以识别小样本类和未知类恶意流量的问题,提出了一种可识别未知类的细粒度恶意流量识别方法。在条件变分自编码器和极值理论模型的基础上,通过在条件变分自编码器模型的编码、解码和重构阶段分别融入对比学习,实现大样本类和小样本类恶意流量的细粒度识别;采用条件变分自编码器重构结合极值理论实现未知类恶意流量识别,有效缓解了标记数据不足对检测性能的影响;3)针对现有方法在大规模网络系统中存在难以增量识别新增类恶意流量的问题,提出了一种基于增量学习的新增类恶意流量识别方法。在变分自编码器和极值理论模型的基础上,通过在变分自编码器的编码阶段融入对比学习策略,并映射到超球面潜特征空间采用A-Softmax函数实现大样本类和小样本类恶意流量识别,采用变分自编码器解码重构结合极值理论实现未知恶意流量识别,进一步设计了基于变分自编码器的重构模块和知识蒸馏模块实现对新增类恶意流量的增量识别,满足了流量分类中增量学习的需求;4)针对现有方法在大规模网络系统中存在未知恶意用户行为识别误报率高且缺乏自动化语义分析的问题,提出了一种基于广义零样本学习的恶意用户行为识别方法。首先通过图卷积网络模型动态建模画像多个用户,以放大用户异常行为并消除良性行为模式变化带来的负面影响,进一步采用语义信息基于超球面变分自编码器实现未知恶意用户行为的识别,有效提升了动态环境中恶意用户行为识别准确率;5)针对现有方法在大规模网络系统中存在未知多步攻击难以检测的问题,提出了一种基于日志关联搜索的多步攻击检测方法。采用边缘计算架构,基于ATT＆CK模型定义本体并统一解析安全告警和日志,其次设计了基于词移距离的告警去重方法、基于属性和通信结构的告警关联方法、基于蒙特卡洛树搜索的攻击场景重构方法共同实现未知多步攻击重构,克服了当前未知多步攻击检测难以检测的困境。本文研究成果解决了大规模网络系统中的未知网络威胁检测的部分难题,为防御未知网络威胁提供了理论支撑、模型指导与方法保障,有助于安全人员及时实施网络防御响应措施。