为了满足日益增长的移动通信业务需求,亟需提高蜂窝移动通信系统频谱资源利用效率。开放多小区频率复用限制是提高现有频谱利用率的有效方法,但是该方法会导致同频多小区间的干扰异常复杂。小区基站可通过部署天线阵列进行波束成形设计来控制自身小区用户间以及其它同频小区用户的干扰。然而,传统的多小区波束成形设计算法存在计算复杂度高、基站间信息交互负载大等缺点,难以应用于实际的蜂窝系统中。近年来,随着强化学习的发展以及神经网络的不断优化,深度强化学习（Deep Reinforcement learning,DRL）方法在各个工程控制领域取得进展。而在多小区波束成形问题中,DRL方法由于其自组织学习特性和数据驱动特性,能够让各个小区基站通过自身收集的经验调整波束来控制小区间干扰,使得算法复杂度与基站间交互开销大大降低。本文主要对在基站发射功率受限条件下对多小区系统中的和速率最大化问题进行了研究,并提出了基站间信息交互有限前提下的基于DRL中的多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient,MADDPG）方法的多小区波束成形算法。主要研究内容概述如下:第一,研究在多小区场景下的系统和速率最大化问题,系统性地总结目前已有的集中式与分布式波束成形设计算法,并根据基站间交互协作程度将已有算法分为信号级协作算法以及波束级协作算法。通过对比分析已有算法,提出在现实多小区系统设置下的基于基站间有限交互的分布式波束级协作算法。第二,为解决多小区波束设计中存在的计算复杂度过高以及基站间信息交互开销过大的问题,提出了一种基于分布式MADDPG的波束成形设计方法。该方法根据用户的等效信道增益、干扰强度以及瞬时速率等信息,让每个基站通过深度强化学习不断调整波束从而最大化整个系统和速率。仿真结果表明,所提基于MADDPG的波束方法在计算复杂度以及基站间信息交互都远低于传统算法的情况下,使得系统频谱效率能够逼近传统集中式算法的性能。第三,针对实际蜂窝系统面临的信道信息误差以及基站间信息交互存在延时等问题,在上述基于MADDPG的波束成形方法的基础上,进一步改善其泛化性,通过采用具有鲁棒性的波束结构设计以及挑选合适的状态信息,进一步减少基站间信息交互开销并提高所提方法的鲁棒性。仿真结果表明,所提泛化性增强的MADDPG波束成形方法能够在系统存在信道信息误差以及基站间信息交互存在延时条件下仍具有较好的鲁棒性。