无线通信技术的发展促进人与人之间信息的快速交互,广泛应用于民用和军用通信领域,无线通信技术在给人们生产生活带来方便的同时也带来了挑战。在民用方面,无线通信的大规模应用,极大丰富人们的生活,但是无线通信的开放性也带来许多安全问题,例如黑客借助无线通道,将攻击数据隐藏在无线通信链路中,由于大部分攻击数据采用未知协议封装,很难被发现。在军用方面,无线通信的攻防对抗也越来越激烈,随着精密的信号分析设备和软件无线电技术的发展,可以通过信号侦察、信号分析等技术手段,获取无线通信过程中的数据流,但是军用通信系统常常采用私有协议,很难解析协议数据获取有价值的信息。传统的协议逆向分析主要依靠人工方法效率低,研究自动化协议逆向技术,分析未知消息格式,获取有价值情报信息,是协议分析领域的热点问题。论文围绕无线通信协议逆向分析中的关键技术展开研究。通过梳理发现,现有的无线通信协议逆向分析方法还不够完善,存在样本完备性依赖大、先验知识依赖性强、计算效率低、分析结果准确度低等问题,缺乏对协议特征的深入分析,缺少成体系的分析方案。论文围绕无线通信协议逆向分析中存在的问题展开研究,研究了在没有先验知识支持的情况下提取协议帧结构、划分协议帧类型、提取协议关键字等关键技术;研究了协议消息格式树生成、协议消息语义分析等关键技术,研究在数据样本不完备情况下预测协议消息格式的方法;研究了协议状态机推断方法;设计并实现了无线通信协议逆向分析系统。论文的主要工作和创新点包括以下几个方面:提出了一套分析无线通信协议帧结构的方法。首先,针对等长帧序列,提出了基于相关分析的帧切分算法;针对变长帧序列,提出了基于同步码提取的帧切分算法。然后提出了基于加权关联规则分析的协议关键字提取算法。最后针对帧类型划分难的问题,在利用一组特殊的格雷码进行数据预处理的基础上,分别提出了基于权重聚类的帧分类算法和基于密度聚类的帧分类算法。论文提出的帧结构分析方法不依赖先验知识、紧贴无线通信帧结构特征,分析方法通用性强。研究了协议消息格式提取关键技术。首先,提出了基于序列比对的协议消息格式分析方法,生成的协议消息格式树可以体现消息的关键字分布情况和域取值情况;结合无线通信协议特点,提出了一种基于遗传算法的分段搜索双序列比对算法。然后,基于主题模型提出了一种协议消息格式建模方法,挖掘消息语义信息,利用该模型完成了消息格式时间分布特性的分析和消息序列格式差异性分析。最后,提出了一种基于隐马尔可夫模型的消息格式预测方法,可以在样本不完备情况下预测协议消息格式。提出了一种主动与被动结合的状态机推断方法,可以得到协议行为规范的抽象描述。首先提出了基于流量分析的协议会话阶段划分算法,解决样本数量大导致状态机推断效率低的问题。然后针对被动推断算法中存在泛化问题,通过标记输入输出关系和状态环数目,约束状态机的化简过程;针对主动推断算法中查询序列生成难、查询效率低的问题,引入模糊测试技术辅助测试序列生成,并通过缓存机制减少查询次数。最后在无线测试环境进行了实际测试,验证了方法的可行性。论文最后设计并实现了无线通信协议逆向分析系统。该系统综合运用多种分析方法,不依赖于先验知识,通过分析无线通信协议数据流,提取目标协议消息格式和状态机信息。