WebShell是一种常见的Web脚本入侵工具,目前各行各业的网上服务站点仍然面临着严峻的Web Shell攻击。在学术界,对Web Shell检测的研究对象主要聚焦于文件文本内容和流量报文内容。在工业界,企业对于外部的Web Shell攻击主要依靠安全设备告警,建设纵深的安全防护体系。无论是工业界还是学术界,主流Web Shell检测以内容检测为核心,而忽视了从异常行为角度挖掘Web Shell流量的特征,针对此问题,本文提出一种面向混淆加密型Web Shell内容和行为特征的检测方法。首先,由于目前关于WebShell检测的公开数据集几乎都是聚焦于恶意文件样本,而缺少Web Shell通信流量的数据集,本文基于当前红蓝对抗的现状和Web Shell管理工具的使用习惯,广泛而全面地收集不同环境下的Web Shell通信流量数据,标注了一套加密混淆型Web Shell恶意流量的标注数据集,用于验证检测模型的有效性和时效性。其次,本文实现了以异常行为作为核心检测点的改进SVM检测模型,这一过程的核心是结合专家知识分析Web Shell管理工具的攻击行为在流量报文上体现出的内容特征和行为特征。在保持良好命中率的前提下,为了使模型能及时发现和响应Web Shell攻击事件,本文针对算法复杂度对检测模型进行优化。实验结果表明,本文提出的基于改进SVM检测模型在保持较好的命中率的同时,与其他模型相比,检测效率并未有明显的下降,而且能识别出其他方法不能识别出来的潜在Web Shell攻击威胁。但是,在实验过程中发现,改进SVM检测模型存在6%以上的误报率。最后,为了解决上述SVM模型误报率较高,导致额外安全运营成本的问题,本文针对Web Shell流量实现了以双层网络和全局池化为核心的CNN Web Shell离线检测模型。一方面,采用双层网络全局池化模型,通过双层网络解决了样本数据特征矩阵稀疏性的问题;同时,为了让模型能够覆盖和适应不同攻击行为的上下文,使用不同尺寸的卷积核来捕获更多的特征集合;最后,为了避免不同尺寸卷积核带来的过拟合问题,先合并卷积再经过全局池化,减少全连接层的特征数量。实验结果显示,改进CNN模型针对Web Shell恶意流量的误报率降低至2%左右,ACC为98%左右。在改进SVM检测模型的基础上,进一步减少误报率,有效降低了检测的额外成本。