随着经济的快速发展,网络正在我们生活中扮演着重要的角色,与我们的生活息息相关,给我们的生活带来了极大的便利。但与此同时,网络规模的不断增大,网络所面临的威胁也逐年增多,网络中存在着许多漏洞,攻击者通过利用这些漏洞来发起攻击,给用户造成了极大的经济损失和严重危害,进而使得人们对于网络安全的检测需求日益强烈。基于此,有许多研究人员加强了对网络流量的安全性研究,比如提出对网络流量进行分类,进而识别出含有恶意程序的流量,但是当前提出的一些方法难以准确的判别出网络流量中存在的恶意程序。同时,相关数据表明,在攻击者利用网络漏洞编写恶意程序进行网络攻击中,缓冲区溢出漏洞被攻击者编写恶意程序用以攻击的数量所占比例很大,而对于网络流量中面向缓冲区溢出的恶意程序检测的研究还很少,现有的方法在准确率和误报率上存在着不足。因此,本文选取网络流量中面向缓冲区溢出漏洞的恶意程序检测作为研究课题。为解决上述存在的问题,本文首先提出了对经典的SVM(Support Vector Machines)算法改进后的OFSVM(Optimized Facile SVM)算法,来实现对网络流量进行分类,并结合特征提取和特征降维方法,进而实现对网络流量中恶意程序的识别。然后,针对传统的K-MEANS存在的对噪音和异常点比较敏感,且难以选取K值的情况,本研究提出了改进后的NIKClustering(New Improved K-MEANS Clustering)聚类分析算法,并结合自相似性方法,对网络流量中的面向缓冲区溢出漏洞的恶意程序进行检测。同时,对上述提出的算法进行了对比实验,设计并实现了恶意程序检测系统MD-BOV(Malware Detection for Buffer Overflow Vulnerability),对所提的方法进行了验证。本文主要工作阐述如下:1.提出了NTMI(Network Traffic Malware Identification)算法用来对网络流量中的恶意程序进行识别,首先借助Netflow收集器对网络流量中的流量数据进行采集,将采集到流量数据进行抽样和规范化处理,得到质量更好的数据集合,然后采用ReliefF分析技术进行特征提取,对提取的到特征集合需要进一步处理。因为这些特征集合中存在着复杂的高维特征空间问题,某些冗余的特征不仅会造成分类算法的学习复杂度不断增加,而且也会产生过拟合和局部优化的问题,所以需要对提取到的流量特征集合进行特征降维。通过wrapper方法进行二次特征提取,并计算特征属性相关性,接着需要进行归一化处理,然后借助OFSVM算法对网络流量进行分类识别训练,最后使用NTMI算法完成对网路流量中恶意程序的分类识别。所提出的方法经过真实网络流量进行测试,最终经过实验对比,NTMI算法在准确性和误报率上表现的更好,而且对恶意程序的识别具有较好的效果。2.提出了基于改进的聚类与自相似性的恶意程序检测算法RSS-IKClustering(Reliable Self-similarity with Improved K-MEANS Clustering),基于上节提取到的网络流量恶意程序集合,接着从确定聚类个数K值、优化初始聚类中心、优化对象的归属这三个方面对传统的聚类方法进行改进,得到NIKClustering算法,利用该算法对提取到的网络流量中的恶意程序进行聚类分析,从网络流量恶意程序中分离出U2R(Unauthorized Access from a Remote Machine to a Local Machine)类型的恶意程序,再借助自相似性方法实现对面向缓冲区溢出漏洞的恶意程序进行检测,最终实验数据表明本文的提出的RSS-IKClustering是可行的,可以实现在网络流量的恶意程序集合中检测出面向缓冲区溢出漏洞的恶意程序,且在检测准确率和误报率上都有较大的提高,论证了该方法的可行性和有效性。3.设计并实现了恶意程序检测系统MD-BOV。首先介绍了该原型系统的系统架构以及系统的执行流程图,然后展示了系统的主要界面,并对系统中的各个模块进行了详细的阐述,经过测试验证,该系统的检测结果与我们实验阶段的数据相吻合,同时该系统也具有易操作性和自动化等特征。