家庭基站的引进既提高了室内的覆盖率，也进一步提升了系统的性能。但家庭基站系统仍然存在一些技术难题，包括干扰协调、接入控制、自主优化等。资源分配作为解决以上问题的一项重要措施，成为了研究热点之一。家庭基站系统中的网络资源主要包括功率、频谱等，本文主要研究家庭基站系统中的资源分配算法，包括信道分配算法、功率控制算法和接入控制算法等。首先，本文提出了基于博弈论的家庭基站发射功率控制算法。该算法以发射功率作为变量设计了家庭基站的效用函数，基于对家庭基站实际场景的考虑，效用函数与宏用户和家庭用户的信干噪比要求有关，将家庭基站的发射功率对宏小区和相邻家庭小区用户的干扰考虑在内，求得纳什最优解作为发射功率，并对最优解的存在性和唯一性加以证明。仿真结果表明该算法在加快收敛速度的同时，提升了系统容量。其次，在由宏小区和家庭小区构成的双层网络中，提出了一种联合信道分配与功率控制算法。该算法通过构建的优化目标将家庭网络的信道分配和功率控制结合在一起，基于干扰最小原则，采用凸优化和次梯度方法，求解出功率的闭合式，保证了家庭基站网络容量的最大化。另外，算法将家庭网络容量的优化与宏网络容量的优化相联系，为宏用户合理分配信道，使宏小区的容量在同条件下达到了最大。仿真结果表明，与单纯的功率控制算法相比，本文算法不仅明显提高了家庭网络的容量，也提升了宏网络的容量。最后，基于随机几何理论分析了家庭基站系统不同的资源分配方案和接入机制下的网络性能，在宏小区和家庭小区共享频谱的情况下，引入接入因子，提出了宏用户接入机制的优化算法，在保证用户通信概率要求的前提下对系统容量进行了优化。仿真结果表明，本文的接入机制在保证宏用户通信概率的条件下提高了家庭基站允许的最大发射功率，优化了系统容量。