部署和维护传统的基于集中式控制的无线通信系统需要耗费大量的时间、物力和人力资源,而由独立、自治的用户终端通过彼此协作分布式的实现网络功能,则能够减小组网成本,增加网络部署的灵活性。然而,在这种分布式环境中,用户终端由于无法获取网络全局或者其他用户的信息而表现出自私性和理性,即为了优化自己的性能指标、非协作地竞争共享的网络资源,由此造成系统整体性能以及其他用户性能的急剧下降。因此,必须设计出有效的竞争与协作机制,激励自私用户参与网络协作,实现对资源公平、有效的共享。博弈论是分析博弈参与者竞争和协作机制的数学工具,是使用严谨的数学模型研究冲突对抗条件下最优决策问题的理论。本文使用博弈理论对无线网络资源分配中所存在的用户终端协作与竞争问题进行分析与研究,设计能够激励用户参与网络协作的竞争机制,在优化网络系统性能的同时实现对资源的公平分配。在物理层,研究了协作通信网络中的资源（功率和带宽）共享问题。以用户节点之间的协作转发功率作为可共享资源,提出了一种基于协作博弈论的协作功率分配方案。首先建立用户节点基于分组转发功率的协作博弈;然后证明所提出博弈存在唯一的纳什议价解,并对求解算法的复杂度和可行性进行了分析。仿真结果表明,所提出的协作博弈模型及其纳什议价解能够在优化系统性能的同时,保证节点之间资源共享的公平性,该公平性体现在节点参与协作中继的程度（也就是它愿意贡献的协作功率）依赖于它的协作伙伴能够为它带来的有效信噪比增益。接下来研究一种非对称的协作通信模型,探讨中继节点如何在多个数据源节点之间分配有限的协作带宽的问题。首先设计中继节点的资源价格函数,以及用户基于能量有效性的效用函数;然后,建立用户最优协作带宽购买量的非协作博弈模型和博弈纳什均衡解的集中式求解算法。为满足Ad.Hoc网络用户之间无法交换彼此信息的客观条件约束,设计了一种均衡解的分布式搜索算法,并给出算法的收敛性条件。仿真结果说明,使用所提出资源分配机制,每个用户节点只需获取中继节点的资源价格信息就可以收敛到纳什均衡策略（最优的带宽资源购买量）。在MAC层,首先基于非协作博弈论提出一种无线局域网MAC协议,用以提高802.11DCF的性能。通过将节点间的信道竞争过程建模为非完全信息动态博弈,解得节点竞争信道的纳什均衡策略（初始竞争窗口值）。根据此均衡策略提出对DCF的改进协议,即G-DCF。节点首先通过监测信道、收集竞争的历史信息,对当前博弈状态（即竞争站点个数）进行统计;然后根据当前博弈状态调整其均衡策略。为使空闲节点能准确估计博弈状态,在其转换到发送状态时可以快速调整到均衡策略,提出一种虚拟帧发送机制。研究的结果表明,G-DCF在系统处于饱和或非饱和状态时,均能提高系统的吞吐量、降低时延及丢帧率。同样在IEEE 802.11无线局域网的MAC层,针对802.11e EDCA的不公平现象,即当网络负载较大时低优先级数据流的吞吐量几乎为零,提出一种基于队列调度和非完全协作博弈论的媒体接入控制机制P-EDCA,实现按数据流权重、公平的系统带宽资源分配。P-EDCA支持802.11e的多优先级队列结构,通过站点内部的队列调度机制S_intra-node保证各队列分组获取公平的站点发送权;通过基于非完全协作博弈的站点间信道竞争机制S_inter-node保证各站点获取公平的信道访问机率。仿真表明,P-EDCA能够精确实现按权重、成比例的带宽资源分配;与EDCA相比,在满足高优先级数据流QoS需求的前提下,P-EDCA能够将低优先级数据流的时延降低50%。在跨层设计方面,首先,应用协作博弈论提出一种OFDMA下行链路资源（功率和子载波）分配算法（CGA）,在有效利用系统资源的同时满足用户间的服务质量（QoS）公平性。CGA算法以最大化系统净效用（用户数据速率的函数）为目标,将系统资源的分配过程建模为用户间的协作博弈。通过线性复杂度的子载波分配,以及可控复杂度的功率分配,求得此博弈的纳什议价解（子载波和功率分配结果）。与最大化系统速率（max-rate）和最大化最小（max-min）公平性算法作比较,CGA算法在逼近系统容最大容量的同时,能够满足用户对QoS公平性（误码率和最小数据吞吐量）的要求。最后,基于非协作博弈论提出一种多小区OFDMA资源分配方案。该方案充分考虑移动用户可携带能量的有限性,以优化用户的能量有效性（每单位能量能获得的服务质量（QoS）满意度）为目标。首先,定义能够反映用户QoS满意度以及相应能量开销之间关系的用户效用函数;在博弈中,任意小区中的基站与其用户结成联盟（coliation）与其它小区（即联盟）竞争系统频谱资源的使用,且每个联盟的竞争目的是最大化本小区的用户效用之和;接下来,通过加入价格因子对博弈的纳什均衡结果进行Pareto改进,达到对用户进行功率控制、获得较高的能量（频谱）效益的目的。该方案仅需各小区中的基站交换价格参数,能够满足系统分布式体系结构的需要。与已有的多小区OFDMA资源分配博弈算法相比,所提出的博弈通过设置合理的用户QoS满意度函数,能够保证用户之间的QoS公平性,并有效的对用户进行功率控制,获得较高的能量效益。另外,通过加入价格因子对所提出博弈的纳什均衡进行Pareto改进,则能够进一步提高用户的功率效益,更有效的利用共享的频谱资源。