近年来移动通信系统中总的数据流量的迅猛增长推动了对第五代移动通信系统(5G)的研究。作为5G的关键技术之一,超密集网络部署能够有效的提高数据传输速率,增加系统容量,但密集部署的同时也带来了更强的干扰,密集网络中如何进行有效的干扰管理是一个亟需解决的问题。在对抗密集网络复杂干扰环境的背景下,本论文首先对密集多小区网络下的以基站为中心分簇进行了研究,接下来考虑密集分布式天线系统下的以用户为中心分簇,并从动态分簇和静态分簇两个方向展开了研究。首先,论文介绍了大规模分布式天线系统,并进行了简单的性能分析。随后介绍了随机几何建模基础、MIMO系统模型以及常见的预编码方法,作为本文相关算法的基础。接着,论文研究了密集多小区网络中的以基站为中心分簇问题。基站分簇是指将区域内的所有基站分成若干个不交叠的协作簇,簇内基站通过协作传输为其覆盖区域内的用户服务。根据是否通过共享全局CSI进行分簇将算法分为集中式和分布式。本文提出了一种基于层次聚类的集中式基站分簇方法以及一种基于博弈论的分布式基站分簇方法。仿真结果表明,本文提出的算法能在低计算复杂度的条件下,得到贴近最优分簇的性能。然后,论文研究了密集分布式天线系统下以用户为中心动态分簇问题。动态分簇即利用实时的信道状态信息进行分簇与预编码设计。针对动态分簇CSI开销大以及计算复杂度高的缺点,本文提出采用模糊均值聚类的方法进行预分簇,利用统计信道信息为每个用户划分候选的RAUs集合,接下来进行动态分簇时,在用户平均速率略微降低的代价下,就可以大幅减少所需的CSI开销和计算的复杂度。在网络规模不断扩大时,上述动态分簇方案复杂度再难降低,论文最后研究的密集分布式天线系统中以用户为中心静态分簇可以有效的解决该问题。静态分簇即先利用统计信道信息进行分簇设计,再在簇内采用简单的线性预编码。该部分的研究是在随机几何建模的基础上进行的,首先通过网络拓扑的统计特性确定好分簇,接着在簇内采用简单的MRT预编码协作传输。具体讨论了两种随机几何建模,第一种是均匀点分布下以用户为中心分簇,利用均匀点分布的特性推导出了最优的簇内RAUs个数。第二种是泊松点分布下以用户为中心分簇,利用泊松点分布的特性推导出了最优的簇半径R。仿真结果表明,本文所提的算法能够取得较好的性能。