随着窃密型木马技术的发展,基于主机的木马检测技术已无法满足安全防护的需求。本文主要研究基于网络的木马通信流行为描述方法与木马通信行为检测技术。通过分析木马通信过程及其行为特点,结合数据挖掘中的聚类方法提出一种网络数据流信息压缩方法。利用Petri网对木马的通信流行为进行形式化描述,建立了基于Petri网的木马通信行为检测模型。最后设计并实现了一个具有低误报率和漏报率的木马通信行为检测系统。本文主要工作如下:首先,对木马的工作原理和关键技术进行研究,重点分析了常用的木马通信技术。通过对实际木马样本完整的通信流进行行为分析,将木马通信过程划分为建立连接、保持连接和交互连接三个阶段,并提取各阶段的行为特征。基于提取的行为特征研究木马通信行为检测方法,从通用性、检测精度和检测效率等方面分析各方法的优缺点。其次,提出了网络数据流信息压缩方法。该方法根据网络数据包之间的相关性,利用数据挖掘的方式,选取了最有利于描述网络数据流行为的数据流粒度,进行网络数据信息压缩。再运用分类的方法将压缩后的网络数据分为正常TCP数据、DNS数据、心跳数据、小包交互数据和大包交互数据共五类。然后,依据网络数据流信息压缩处理得到的数据,利用Petri网对木马的通信流行为进行形式化描述,提出了基于Petri网的行为序列检测方法。在此基础上,运用处理数据流数据的窗口技术,结合Petri网异步交互能力,构建可根据经验状态的智能调整检测窗口阈值的高效检测模型。最后,基于建立的检测模型设计并实现了木马通信行为检测系统。通过分析网络通信的五元组各元素的分布,设计了哈希表与多级链表相结合的会话存储结构,提高了系统效率。随后对检测系统进行了功能测试,测试结果表明该系统可有效检测常见的木马和木马变种。