随着移动通信行业近年来的加速发展,5G通信系统(5th Generation)的大规模商用变得更加迫切。目前,作为5G关键技术,超密集网络(Ultra-Dense Network,UDN)已被证实可以有效在信号盲区补盲和热点地区分流,是一个极有前景的网络部署技术。但伴随着超密集网络带来的高传输能力,信号干扰问题也变得愈发严重。与此同时,国内外针对5G超密集网络的抗干扰研究集中于小区分簇与协作处理方向,但所提方案大多是将传统蜂窝网络中的分簇方案移植到超密集网络中,无法很好的兼容5G超密集网络。因此,本文提出面向5G超密集网络的分簇策略,具有重要意义。本文在多点协作传输(Coordinated Multiple Point,Co MP)技术基础上建立超密集网络中的接收模型,开展动态分簇技术研究。首次将DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法引入到分簇策略中,针对信号盲区和一般热点地区提供以网络为中心的分簇策略。接着,又以多目标优化理论为基础,对通信极热点地区展开研究,提供以用户为中心分簇的解决方案。本文的研究内容分为以下几点:(1)分析了当前5G超密集网络的接收模型。论文分析了5G超密集网络的部署原则和干扰成分,基于协作多点传输的链路技术,分别建立了非分簇和分簇两种情况下的传输速率,为论文研究奠定理论基础并明确评估指标。(2)研究了经典分簇策略。分析主流的分簇策略设计原则,并根据设计原则选取基于改进型K-means算法的动态分簇策略和基于信道强度的以用户为中心的分簇策略,重点研究了两个经典分簇策略的优点与弊端。(3)针对信号盲区和一般热点地区,将DBSCAN聚类算法引入到分簇策略中,提出了以网络为中心的分簇策略,旨在提升系统传输速率。首先阐述了DBSCAN算法的原理和流程。其次面向固定协作簇数量的场景,将DBSCAN算法与粒子群优化算法相结合,提出K-DBSCAN(K-limited DBSCAN Strategy)分簇策略;然后面向限制簇内基站数目的场景,对DBSCAN算法进行改进,提出P-DBSCAN(P-limited DBSCAN Strategy)分簇策略。最后分别对两个策略进行仿真评估,相比经典的基于改进型K-means算法的分簇策略,本部分提出的两个策略均可在各自场景下提升系统传输速率10%左右。(4)针对通信极热点地区,利用多目标优化理论,提出了以用户为中心的分簇策略,旨在降低发生中断用户数量。首先,面向最小化协作规模的场景,建立多目标优化方程,求得以用户为中心的UCCS-CS(User-Centric Clustering Strategy with limited Cluster Size)分簇策略。然后,面向限制协作基站距离的场景,改进多目标优化方程,求解出以用户为中心的UCCS-CD(User-Centric Clustering Strategy with limited Cooperative Distance between LPBSs)分簇策略。最后通过仿真验证,相比经典的基于信道强度的以用户为中心的分簇策略,本部分提出的两个策略能够降低系统中断用户数量约30%,减少所消耗的协作资源约10%。