随着黑客攻击技术不断提高,网络安全问题日益突出。防火墙、入侵检测系统、防病毒软件等传统安全手段都是被动的事后型防御措施,对短时间、毁坏性大,尤其是隐蔽性强的攻击行为来说,其防御能力是有限的。在恶意攻击行为发生前就主动检测网络脆弱环节,研究并预测攻击者行为,建立主动型防护体系是安全领域中的一个新课题。网络攻击建模在主动防御系统中扮演着重要的角色,它是网络安全评估和全面建立安全防御措施的基础。当前网络系统的复杂性越来越高,攻击者采用的攻击手段呈多样化,这些都对网络攻击模型提出了更高的要求。同时,基于模型的网络安全评估方法近年来也日益被国内外学者所关注,评估结论是否准确将直接影响防御策略的制定,因此提出一种更为科学、合理、实用的安全评估方法是迫切需要的。本文主要从网络攻击建模与安全评估两个方面出发,针对目前研究技术上存在的问题,致力于提出一种适合对复杂网络系统上的组合式攻击行为进行建模的方法以及相应的安全评估技术。本文分别从以下几个方面展开研究:首先,将基于网络的远程攻击和基于主机的本地攻击综合考虑,建立能够清晰描述全网攻击行为的层次化对象Petri网模型结构。通过定义网络攻击信息库,提出了全网攻击模型的构建方法。在顶层网上定义粗糙攻击路径并利用后向搜索的思想提出了粗糙路径生成算法。通过扩展与攻击目标相关的对象子网,利用改进的蚁群算法搜索k条精确脆弱路径。最后综合分析粗糙路径和精确路径,给出了网络节点和节点漏洞的危险性评估方法。其次,为了解决攻击网络中的模糊性问题,将网络攻击系统作为模糊系统来处理,建立基于模糊可靠性的网络攻击模型,通过综合考虑攻击库所状态的模糊真实度、模糊节点关键度和模糊可生存性,在Petri网中寻找变迁的模糊攻击效能与模糊可靠性最大的k条攻击路径,并对算法选取的k条路径进行对比分析和评估,给网络管理员以相应的防御建议。第三,针对网络威胁性评估提出了基于对象时间Petri网的脆弱性关联模型。结合面向对象技术定义了网络节点对象以及对象中封装的属性和方法,将安全属性影响、网络关联度和节点重要度等因素引入到攻击危害度的评估当中,结合攻击复杂度给出了网络节点威胁度的量化计算方法。运用Dijkstra算法的思想并对其进行改进,提出了无目标导向下节点库所的最大威胁度分析方法。在确定攻击目标的情况下,利用无目标导向的分析结果可获得目标导向下的各库所威胁度值。第四,为了解决复杂网络中相似攻击手段和相似节点对象在攻击模型中造成冗余的问题,通过在Petri的变迁域和节点域上划分等价类,提出了粗糙脆弱性关联模型的构造方法。通过定义路径相似度,利用蚁群算法找出所有可达攻击目标的特征攻击路径,并计算此类特征策略给目标节点带来的最大威胁。为了使预测出的威胁度与实际的攻击情景相适应,提出了利用IDS等安全告警信息不断修正威胁度值的网络威胁动态感知方法。第五,为了解决复杂网络攻防过程中的策略相依问题,提出了基于粗糙贝叶斯攻防博弈模型的分析方法。在定义了攻击场景中的两大参与者——攻击Agent和防御Agent的基础上,扩展传统对象Petri网并在其节点域和变迁域上引入粗糙集理论,定义了网络攻防对峙模型。通过在论域攻防策略集上划分等价类,提出了特征攻击策略集的提取方法。在此基础上定义了粗糙攻防博弈模型以及攻防效用函数,并给出了该模型的贝叶斯均衡以及最大攻防策略集的求解算法。该分析方法能够有效缩减博弈分析中策略空间的规模,适合于对复杂网络攻防行为的研究。最后,研究了多阶段的攻防对峙行为,通过定义攻防行动的顺序和各自的效用函数,结合不完全信息下的动态博弈理论分析了两大智能体的策略对峙与相依情况,动态贝叶斯攻防博弈模型能够描述攻防态势发展的各个阶段双方可能采取的各种策略。本章提出了利用攻防对峙模型构建博弈扩展形的算法,并且给出了攻防均衡策略的生成方法。目前,在网络系统脆弱性和风险评估方面的研究虽已取得一定成果,但适应于复杂网络系统上的攻防行为研究和建模方法尚处于探索阶段,本文针对网络安全领域研究中存在的问题,提出了一系列技术方法来解决复杂网络攻击系统的模型规模庞大,攻击知识的不确定性,网络动态威胁感知,以及攻防策略相互依存等问题,完善了当前研究现状中存在的不足,为网络安全领域中建立主动防御体系提供了新的研究思路和方法,具有重要的应用价值。