伴随着互联网规模的不断扩大,应用程序种类的增多,网络协议种类随之剧增。这给网络的管理以及分析带来了巨大挑战,网络流量分类是对网络进行管理及分析的首要步骤,实用的网络流量分类方法能够提升网络管理的效率,进而提高网络的质量。有效的网络分类方法能够提升网络分析的准确性,从而提高网络的安全性。目前多数基于深度学习的网络流量分类方法无法对训练集外的未知类别进行区分,这类分类器在实际使用中的性能相比实验结果会有一定落差。传统机器学习能够通过聚类等技术对未知类别进行区分,由于其主要依赖于特征工程,往往正确率不高。本文主要研究基于开集分类的深度学习模型,主要做了以下两方面工作。为了使深度学习模型能够对训练集外的未知协议指纹进行区分,我们引入了openmax从而在原有的softmax输出中添加用于识别未知类别的维度,以及另一种基于三元组损失的深度模型构建方法,将输入的样本映射到嵌入空间,通过给定的距离阈值实现对未知和已知协议指纹的识别。本文提出了两种端到端的深度学习模型分别以数据包和双向流作为输入,用来从流量样本中自动提取特征,与提出的两种未知类识别方法结合构成4个模型。在对数据的处理中,我们使用多种数据的预处理方法,对可能引起过拟合的字段进行修改或剔除。最后我们另外采集了12种协议指纹流量样本作为未知协议指纹,结合ISCXVPN2016数据集对4个模型进行性能测试。结果表明双向流作为输入的模型性能普遍会高于数据包作为输入的模型,三元组损失方法相比openmax方法性能高10%左右,其中三元组损失方法正确率最高可达84.75%。我们将模型与不同场景下的其它工作进行对比,在闭集分类场景下正确率相差10%左右,在开集分类场景下与已有工作相比有一定的提高。考虑流量分类在实际场景中的应用,针对模型识别出来的未知协议指纹类,我们提出了面向开放世界识别的协议指纹识别方案。方案使用Bof方法对未知类进行标记,生成新的已知类别。并结合增量学习相关技术,我们对部分训练样本进行保存,使用样本回放以及知识蒸馏的方法对模型进行更新。本文实现了对以数据包作为输入的基于三元组损失的开集分类模型添加新的已知类的方法。对于该方案我们进行了仿真实验,模拟模型在实际过程中增加新协议指纹后的性能变化。仿真实验测试了12种协议指纹依次添加后对模型正确率指标的影响。实验结果表明,模型最后正确率为48.14%,正确率下降幅度在40%以内。