近年来,网络编码、协作通信、认知无线电等技术由于能大幅提高无线网络性能而成为了无线通信领域的研究热点。与传统通信技术不同的是,这些新技术更多地依赖于无线网络节点间的协作与认知行为。但是,由于受到自身处理能力、存储空间、电池容量等各种资源的限制,网络节点在没有激励机制的情况下往往表现出自私行为,从而影响无线网络性能；此外,以认知无线电技术为代表的相关技术要求无线网络节点可以动态地、不受任何约束地接入主用户的授权频段,在提高网络性能的同时也使得网络节点可以方便地实施窃听、干扰等恶意行为,为无线通信带来了新的安全问题。因此,研究无线网络中节点的行为,对提高网络性能、增强网络安全具有重要意义。本文利用博弈理论,对无线网络中节点的自私行为和恶意行为进行了研究,主要工作包括以下两个方面：(1)从提高网络性能的角度,结合网络编码技术研究了无线网络中节点的自私行为。通过建立链路节点的重复博弈模型,在考虑链路节点自私行为的基础上,提出了一种促进流量均衡分配的策略。(2)分析了MIMO窃听信道模型中无线网络节点的行为并建立了博弈模型,进而针对博弈模型中攻击者位置、天线数量、发射功率及友好中继节点不同策略等情况给出了相应的博弈结果及保密率。