近些年来,随着计算机技术的不断发展和应用,Web应用技术也在快速更迭,但与其一起发展的还有WebShell后门技术。传统的WebShell由于其具有明显的文本特征因而容易被各种查杀工具所识别,一旦攻击者使用这种具有明显特征的WebShell就会被检测出来,这就使得传统的WebShell后门已经不能够满足攻击者的需求。因而不断有攻击者去研究新类型的WebShell后门,也因此诞生了诸如通过字节码加载的WebShell、基于特殊类调用的WebShell、基于各种表达式的WebShell、基于反序列化或JNDI注入技术的WebShell以及基于无文件的攻击技术的WebShell等,这些新型WebShell为现有的安全防御检测机制带来了极大的挑战。本文针对新型WebShell中最具有代表性的基于无文件攻击技术的WebShell后门也即内存马难以检测的问题,展开了国内外相关研究工作。对比了现有的一些检测方案,然后寻找出这些方案中的不足,并通过对新型WebShell的编写原理分析以及对融合了众多新型WebShell编写技术的内存马的研究,提出了两个检测模型,实验表明这两个模型能够有效的解决内存马难以检测的问题。本文工作如下:（1）针对内存马难以检测的问题,本文从内存扫描检测技术出发,对现有的一些内存扫描技术进行了分析和总结,并基于Java Instrument技术实现了一套内存对象扫描方案,利用该方案可以得到JVM中已加载的类对象的相关信息,然后将这些类对象信息通过预处理形成了表现序列。最后通过大量训练,利用朴素贝叶斯算法设计了一个基于异常表现序列的内存马检测模型,该模型能够有效的对表现序列进行分类。（2）对于内存马的检测,在实际场景下更应注重漏报的情况,因而基于异常表现序列的内存马检测模型更偏向于保证较低的漏报率,但也同时导致了该模型的分类结果可能存在大量误报。针对这个的问题,本文设计了一个基于污点分析和ASM的内存马检测模型,该模型根据朴素贝叶斯分类器的分类结果,从JVM内存中导出指定类的class文件,利用污点分析技术配合ASM字节码增强框架,对导出的class文件进行了污点分析,使得实验中的三个测试项的平均漏报数由39个、74个和152个,降到了3个、6个和19个。极大的降低了分类器的误报率,提升了内存马检测的精确率。