面临频谱日渐拥挤的困境,5G通信系统引入了毫米波频率,通过探索尚未占用的宽频带以实现更高的数据传输速率。得益于毫米波波长短的优势,大规模多入多出（Multiple-Input Multiple-Output,MIMO）技术通过充足的天线增益补偿了毫米波信道的衰减,并在提升系统频谱效率方面彰显了极大的性能优势。在毫米波MIMO通信系统中,波束成形技术十分关键,其算法设计对系统性能的提升亦起着至关重要的作用。除了频谱效率性能的加强,用户服务质量也是未来通信系统的一大关注点。另一方面,协作式网络利用强大的集中处理能力可实现联合波束成形设计、抑制多用户干扰以及协同功率控制等,为用户服务质量的提升找到了新的可能。值得一提的是,去蜂窝网络作为新型协作式网络,在均衡用户服务质量、灵活部署等方面十分具有吸引力。因此,寻求并探索适合协作式毫米波网络的波束成形方案势在必行。本文针对协作式毫米波网络,以提升系统频谱效率、提高能量效率、加强用户服务质量为目标,设计多种波束成形算法,并提供丰富的仿真实验结果。本文主要工作与贡献可总结为以下三点:首先,本文考虑传统协作式毫米波MIMO通信系统,针对用户调度问题,提出联合用户调度和波束成形设计方案,旨在为用户选择并接入最佳基站的同时,通过高效的波束成形设计最大化系统的频谱效率,亦称信息总速率。此外,本文对所提算法进行了复杂度分析以及基于MATLAB仿真实验的性能验证。其次,本文讨论新型协作式毫米波网络中的混合波束成形设计,针对信息总速率最大化的问题,考虑混合波束成形天线架构对系统能量效率的影响,提出一种基于全连接架构下的高效迭代算法设计混合波束成形矩阵。此外,本文将其拓展到固定子阵列和动态连接阵列中,并对模拟波束成形算法做相应的改进。详实的仿真实验说明了算法的性能优势以及动态连接架构对能量效率性能的影响。最后,本文在新型协作式网络中引入低能耗的智能超表面作为辅助通信设备,进一步提升系统频谱效率。基于此,本文针对可接入点之间频繁的信息传输导致信令负载大的问题,综合考虑中央处理单元的集中处理能力和本地优化限制,提出部分分布式波束成形算法。实验仿真验证了算法的有效性以及智能超表面对系统性能的改善。综上,本文针对协作式网络,提出多种波束成形算法,说明用户调度、天线阵列架构以及智能超表面对系统性能的影响。研究表明,协作式毫米波网络和去蜂窝网络能够联合抑制多用户干扰,可达到较好的频谱效率性能,在未来通信系统中极具发展潜力。