随着现代通信技术的不断发展,以及移动设备的爆发式增长,无线网络在当前的通信环境中得到越来越广泛的应用。与此同时,随着个人移动设备的普及,无线网络安全也愈发引起人们的重视。通信协议作为网络通信的标准与规范,对于网络安全具有重要影响。当前的无线网络环境中存在许多的通信协议,其中就包含大量的私有协议。私有协议格式未知,对私有协议进行分析对于网络安全具有重要意义。但由于无线网络下通信数据的特点,传统的协议识别技术无法直接被应用,需要在协议识别中采取新的技术与思想,从而解决当前面临的诸如识别准确率低,时间消耗大等问题。本文从未知协议识别方法与识别模型两方面进行研究,主要研究内容如下:(1)针对未知协议识别缺乏整体设计的问题,提出一种基于自学习的未知协议识别模型。该模型综合考虑未知协议识别的各过程,通过引入自学习的思想减少人工介入。同时,在识别过程中利用反馈机制使其在多协议环境下具有较好的识别效果。仿真结果表明,该模型具有很好的学习能力与较高的识别准确率。(2)针对未知协议识别过程中帧定位准确率不足、时间消耗较大等问题,在未知协议识别模型的基础上引入自然语言处理中关键词提取算法TextRank的思想,提出一种基于TextRank的未知协议帧定位方法。利用TextRank的思想对未知协议的关键序列进行提取,并利用多序列比对的方法从中挖掘出同步序列,以此作为依据多原始数据进行切分。(3)针对未知协议识别过程中,特征提取的准确率与时间消耗难以满足实际要求的问题,在未知协议识别模型的基础上提出一种基于序列关联的特征提取方法。该方法以帧定位的结果为基础,将特征提取进一步分为帧内特征提取与帧间特征提取两部分对特征序列之间的位置关系进行分析。帧内特征提取的目标是同一帧内不同特征序列之间的位置关系;帧间特征提取的目标是相邻帧内同意特征序列之间的位置关系。通过分析过程中的位置约束,达到减少时间消耗与提高特征提取准确率的目的。综上所述,本文所提出的模型能够适用于不同环境,提升了识别准确率,并降低了时间消耗,对无线网络环境下的未知协议识别研究具有重要的实际与理论意义。