传统的入侵检测研究很少考虑网络用户的意愿和行为规律，对攻击动机缺乏解释。这造成现有的入侵检测部署缺乏针对性，误判和漏判概率非常高，因此有必要引入新的研究方法和理论对攻击行为规律进行研究。博弈论是研究在相互依存条件下如何进行理性决策的理论，该理论认为一个人的理性决策必定建立在预测其他人的理性反应基础之上。互联网用户之间相互影响的特点使得博弈论可以为网络安全和网络入侵检测研究提供所需的数学框架。本文运用博弈理论为网络用户和安全系统的行为建立模型，并以无线自组织网络(Ad hoc)为背景，研究相关的网络安全体系结构和实施入侵检测所需要的关键技术(如报文取样技术、检测部署技术和检测参数调整技术等)。　　 各个局部的安全性相加并不能等于网络的整体安全，互联网需要自上而下的整体安全研究，部署安全措施时考虑安全体系结构问题具有积极的意义。在网络安全体系结构的研究中，首先提出基于分层的网络安全参考模型LNSA，对LNSA进行构件化描述并探讨了基于INSADL语言对网络安全体系结构进行形式化分析的方法。接着运用随机Petri网对LNSA进行描述，并运用随机高级Petri网及同构马尔可夫链来求得稳定状态下的状态概率。根据模型中的稳态概率，对不同情况下网络安全系统的安全性进行评估。　　 引入静态非合作博弈理论对无线自组织网络中的报文取样技术进行研究，建立静态非合作博弈模型，论证模型中纳什(Nash)均衡点的存在性和唯一性。并设计了分布式动态报文取样算法和集中式增量报文取样算法，分别讨论了其取样性能和通信耗费，指出了进一步改进算法的可能性。引入Stackelberg博弈理论来构建报文取样博弈模型，论证了博弈模型中的Stackelberg均衡点的存在和唯一性，并根据单纯形法设计了入侵报文取样算法和等价的简化算法，以及入侵报文注入算法。将贝叶斯博弈理论引入到检测部署技术研究中，首先建立单博弈周期的入侵检测博弈模型，然后拓展到多博弈周期，每个博弈周期运用贝叶斯公式修正网络用户的信念，形成了基于贝叶斯博弈理论的入侵检测博弈模型。论证了模型中完美贝叶斯均衡的存在性，并设计了基于贝叶斯博弈的入侵检测算法。研究无线自组织网络中的入侵检测参数调整技术，运用贝叶斯博弈理论及完美贝叶斯均衡的方法，设计入侵检测时间间隔调整算法和基于回退机制的入侵检测参数修正算法，使得入侵检测系统能够有效地针对网络攻击行为的变化调整入侵检测参数，能够对发生变化的攻击行为进行有效的检测。　　 此外，论文通过仿真实验分别对所提出的算法进行了分析和验证，并对论文进行了总结，指出了不足以及将来的研究方向。