随着互联网迅猛发展,网络流量成分日益复杂。网络中除了指大量标准化公开协议所产生的流量外,还存在许多私有协议流量。私有协议(Proprietary Protocol)因商业保护等原因而未公开其网络通信技术规范,故识别有难度。本文研究的特定加密应用是指采用私有协议和混淆通信技术的应用,其利用加密技术(Encryption)保证数据传输安全,也利用流量混淆技术(Traffic Obfuscation)伪装其流量,逃避网络监管。针对以上问题,本文提出被动检测(Passive Detect)与主动探测(Active Probe)两种方案,对该类应用深入识别。首先,本文详细分析了当前混淆流量被动检测和私有协议主动探测的相关成果,同时介绍了协议分析实验环境,阐述流量检测和主动探测的原理。其次,本文从被动检测角度,对采用混淆伪装通信技术的加密应用产生的流量进行分析。首先阐述加密应用利用TCP、HTTP、HTTPS的三种混淆通信原理。随后对典型报文序列进行标记并设计混淆流量分类算法。同时本文将TF-IDF算法思想与流量检测领域结合。计算各个特征权重,将有效特征整合成协议特征库。最后设计基于特征匹配的混淆流量识别算法。测试结果表明,本文提出的混淆流量被动检测方法能够有效识别特定加密应用的混淆流量。再次,本文从主动探测角度,构造特殊格式数据包对加密应用进行主动发现。首先提出基于BWT后缀树快速索引的协议格式提取算法。随后从网络报文(Network Traffic)和指令序列(Instruction Trajectory)两方面,推断该应用协议状态机。最后根据协议状态迁移设计主动探测算法,并依据分层探测模型思想进行实验。测试结果表明,本文提出的私有协议主动探测方法能成功发现特定加密应用的专有特征,从而为协议探测领域提出一种新思路。最后,针对特定加密应用识别问题,本文设计并实现了复杂网络下特定应用识别原型系统,包括被动检测子系统和主动探测子系统两部分。根据现有研究成果可知,针对加密应用通信中混淆流量被动检测和基于协议状态迁移主动探测技术的研究工作较少,因此本文工作对于补充这两领域的不足有一定意义。测试结果表明流量被动检测与协议主动探测技术结合对准确识别基于混淆通信的特定加密应用是可行的。