随着电信行业的飞速发展和手持移动通信设备的普及,无线传输信息量爆炸式的增长向无线网络通信技术提出了新的挑战。传统的蜂窝网络难以解决用户部署密集且接入无计划性的室内无线覆盖的难题。部署成本低、发射功率小的Femtocell网络能有效对传统蜂窝网络在室内覆盖进行补充,因此受到了业界的广泛关注。同时,网络中两类用户不同的接入优先级和服务需求、Femtocell网络的自配置、自优化特征,以及两层用户要共享同一网络资源,使得传统的蜂窝网络资源管理方案不再适用。因此,本文针对双层Femtocell网络资源分配的特性在不同服务需求与不同信道信息获取程度的网络,为两层用户提出了多种高效、低成本、强可适用性的资源分配方法。首先,针对双层Femtocell网络中overlay模式下信道信息可被完美获取的频谱共享问题,提出了基于Cournot博弈的双层博弈算法。联合考虑宏基站(Macro-base station,MBS)服务需求、飞蜂基站(Femto-base stations,FBS)优先级和频谱动态价格,提出了考虑二次边际成本、符合市场规律的频谱价格函数。并设计了MBS价格反馈机制使MBS可以根据市场的变化动态地调整价格,从而最大化MBS的效用。并设计FBS优先级动态调整机制,对干扰MBS通信的FBS进行惩罚,从而优化频谱共享环境。其次,针对双层Femtocell网络中underlay模式下信道信息可被完美获取的多用户多信道下的联合信道和功率资源分配问题,提出双层Stackelberg博弈算法。为保证高权级MBS的服务质量,为MBS设计了复合策略,使其策略更加灵活。并提出了新的MBS策略响应方程。MBS通过此方程能以短视的方法预测FBS的策略,并根据此预测策略直接制定最优响应策略,提高算法速度。另外,提出了MBS的主动信道选择机制,有效地提高了MBS的效用,并降低了跨层干扰,实现了双层网络的共赢。随后,针对双层Femtocell网络中信道信息包含不确定因素的联合信道和功率资源分配问题,提出了鲁棒Stackelberg博弈算法来对抗网络中的不确定因素。充分考虑实际网络中通信用户的多边约束及信道增益信息不确定的因素,将此问题构建为多边约束的鲁棒Stackelberg博弈。并在效用函数中考虑MBS的通信需求,使其在达到自身通信需求后不再愿意提高自身功率,从而减轻跨层干扰。由于用户的多边约束和复杂的效用函数使构建的优化问题过于复杂,传统的博弈方法难以求解。因此,在上层博弈中引入了改进的智能算法,并提出了考虑双层用户意愿的博弈停止协议,实现了双层博弈算法的收敛。相较于对信道容量的传统贪婪算法能很大程度地降低跨层干扰,从而提高FBS的系统容量。最后,针对复杂Femtocell网络中信道信息难以获取情况下的联合资源分配问题,提出了多种无需任何先验的信道信息及用户间直接的信息交换的完全分布式的机器学习博弈算法。将此问题构建为多用户的多臂老虎机(Multi-armed bandit,MAB)博弈问题。传统的学习算法获取的学习信息较少,导致学习效率很低。因此,本文引入了虚拟学习信息以丰富学习信息,提高学习效率。并设计了非对抗性和对抗性两种双层学习算法,在上层学习中学习真实的信息;在下层学习中学习虚拟信息,从而充分利用有限的学习资源,提高算法的学习能力和求解效率。另外,为避免算法陷入局部极值,提出了动态下层学习机制,在算法陷入局部极值时可以调整双层学习算法的力度以避免算法陷入局部极值。该学习算法不仅有效地提高了算法的学习效率,更能适应严酷、复杂的网络环境,并对信息时延、非完全信息获取都有一定的容忍能力。