近年来,具有国家或黑客组织背景的APT(高级持续威胁)恶意软件攻击问题越来越凸显,对网络空间安全带来巨大威胁。为了有效应对APT攻击,通过对所捕获的恶意软件进行组织溯源分类,可起到震慑攻击者的作用并有助于制定防御措施。因此,对APT恶意软件的组织分类已成为重要的安全防御技术。传统的使用机器学习的恶意软件分类技术大多基于闭集假设,即假设所有待测样本的类别都是在训练过程中已见过的旧类别。然而,实际的APT恶意软件组织分类面对的是开集场景,即待测样本的组织可能属于在训练过程中从未见过的新组织。因此,很有必要研究APT恶意软件的开集组织分类技术,将待测的APT样本归属为训练时见过的某个旧组织或者识别为未见过的新组织。本文结合深度森林和卷积神经网络,提出一个针对APT恶意软件组织的开集识别模型。此模型先使用深度森林生成样本的一次表征向量,并将样本预分类到APT旧组织类别中;再将样本的一次表征向量通过卷积神经网络生成新的深度表征(称为二次表征)向量,并根据样本的二次表征向量与预分类旧组织中心点的距离,判定是否接受预分类的结果;最终,将接受结果的样本归属为预分类的APT旧组织,反之则归属为新组织。本文的分类模型主要包括四个模块:多粒度扫描模块、级联森林模块、卷积神经网络模块和结果判定模块,分别用于生成样本的一次表征向量、预分类结果、二次表征向量和最终识别结果。本文将详述此分类方法的过程和细节。为了验证所提出的开集识别模型的有效性,本文构建一个带有APT组织标签的PE恶意样本数据集进行实验研究。实验结果表明,与现有的APT组织开集分类方法相比,本文提出的模型方法具有更高的AUC值、准确率、精确率、召回率和F1分数。此外,本文提出的开集识别模型也有潜力解决其它领域的开集分类问题。本文通过实验探索了此模型用于恶意软件功能家族上的开集分类研究,实验结果表明了此模型在其它开集识别领域具有可迁移性。