随着计算机网络的广泛应用,网络安全问题越来越得到用户和管理者的重视。恶意软件的传播,不仅占用感染主机的大部分系统资源,对系统造成破坏;同时还会抢占网络带宽,造成网络堵塞,对于恶意软件的研究已经成为近年来国内外在网络安全和信息安全领域的研究热点之一。为了检测未知的恶意软件,论文分析恶意软件的行为特征,提出了一种基于接触跟踪的恶意软件传播检测方法,主要工作及成果如下:①借鉴医学中病毒传播的特性,提出了基于“单点检测-多点跟踪”模式的接触跟踪检测算法。针对单一行为特征检测误报率较大的问题,提出了一种基于多特征模式归类的单点检测算法,对提取的多个特征分别应用基于差分熵定律的检测算法,最后利用EWMA算法实现多特征融合,采用多特征融合技术能够更有效地提取属于恶意软件特有的行为特征组合,减小系统误报率。为了预先区分正常数据流量和异常数据流量,采用了卡尔曼滤波的方法实现对正常数据流量的预测,在已知原始数据流量的情况下,计算得到异常数据流量预测值。为满足不同网络环境下对检测精度和检测速度的要求,提出了三种跟踪算法:简单跟踪算法,最优路径跟踪算法和因果跟踪链算法,实现对可疑节点的异常连接行为特征的跟踪。仿真实验表明,多点跟踪模式能够减小单点检测产生的误报率。②提出了基于动态累计异常行为特征检测算法。分析基本累计异常行为特征检测算法检测精度和时间窗口T的关系,采用了动态时间窗口的优化措施,弱化了时间窗口对于检测范围的限制,有效地降低了时间窗口宽度的不同对检测结果造成的影响。针对现有的基本算法对瞬时异常现象的敏感性高的问题,提出了相似度计算结合熵定律的优化算法,降低检测算法对瞬时异常现象的敏感度。为了实现系统参数对于动态网络环境的自适应调整,提出了将误报率和漏检率折中寻求“最佳检测点”的优化算法,利用计算的每个时刻代价函数最小值改变参数值的大小,达到动态调整系统参数的目的。仿真实验表明,优化以后的检测算法更能够有效地适应网络的动态变化,减小检测系统的误差。③提出了利用跟踪树实现对P2P文件分享系统中污染文件传播的检测机制。针对普遍采用的“声誉度检测机制”容易被虚假声誉评价破坏的不足,利用跟踪树算法提高声誉度的可信度,从而提高污染文件检测的准确度;针对文件分享系统可能出现的DDOS攻击,提出了“软隔离”结合“分散攻击”的防御策略,减小了大量节点在同一时刻连接到少数节点的可能性。④提出了改进的多参数蠕虫传播模型,分别考虑了时间参数和对抗参数对于蠕虫传播的影响,与传统的蠕虫传播模型相比较,多参数蠕虫传播模型更能够真实地反映真实网络中蠕虫传播的过程。提出了三种基于接触跟踪检测的动态隔离模型,与现有的动态隔离模型的相比较,采用了接触跟踪算法的隔离策略更能够有效地利用有限的隔离资源,达到抑制蠕虫传播的目的。