设备到设备(Device-to-Device,D2D)通信是在网络中允许近终端设备之间直接进行信息传递的新兴通信技术,是下一代(5G)移动通信网络的重要组成部分。通过允许终端间不经过基站而利用网络资源直接进行通信,D2D极大地提升了频谱效率、提高了用户体验并扩展了通信应用。另一方面,为了实现D2D的上述优点,必须仔细地控制整个D2D通信过程,涉及的核心问题包括邻近D2D终端的检测及识别、D2D同步、通信模式选择和切换、无线资源管理、功率控制和干扰协调等等。本文重点研究D2D通信过程中的模式选择和干扰控制问题,提出了一种面向多用户多天线蜂窝通信网络的D2D通信模式选择及波束赋形联合优化算法,以有效提升系统吞吐率。目前关于D2D模式选择和干扰控制的研究很多,覆盖了单用户/多用户、单天线/多天线、理想信道/非理性信道等诸多场景。尽管在问题描述和算法设计方面存在差别,大多数现有研究都事先定义好了蜂窝网用户和D2D用户,并且认为蜂窝网用户具有更高优先级(类似于认知无线电网络中的主用户和次用户)。在该设定下,D2D通信管理的一个重要任务就是避免D2D用户对蜂窝网用户造成干扰。为此,通常只有D2D用户涉及模式选择问题,而蜂窝网用户固定地利用基站进行通信;同时,为更好地保护蜂窝网用户,只允许D2D用户复用蜂窝网的上行链路资源;等等。显然,这极大地限制了D2D通信的灵活性,导致D2D的性能增益没有完全被利用。D2D和认知无线电存在明显差异,其根本区别在于D2D使用授权频谱资源且其通信过程受到基站的监控。因此,在网络通信管理过程中,D2D通信和蜂窝网通信具有同样优先级的设定更为合理。基于上述考虑,本文研究了一个更为通用的D2D通信模式选择和干扰管理问题。具体而言,考虑一个多用户蜂窝网,并且网络中的基站和用户都配备多天线,通过联合优化每个用户对间的通信模式和传输/接收波束来最大化网络吞吐率。特别地,设定D2D通信和蜂窝网通信具有相同优先级,共享网络中的上下行链路资源;同时,不再事先区分蜂窝网用户和D2D用户,每一个用户对间的通信模式可以在蜂窝网模式和D2D模式间自由切换,选择何种通信模式完全取决于其对网络吞吐率的贡献和对其它用户对的干扰。显然,这一更加通用的设定对现有D2D研究中的各种限制条件进行了松弛,有助于更好地利用D2D通信的潜力。但是,这是一个NP-Hard问题,难以求解,本文转而设计低复杂度的算法以求得该问题的高质量近似解。为此,本文首先将吞吐量最大化问题转换成一个加权最小均方误差(Weighted Minimum Mean Square Error,WMMSE)问题,在此基础上设计算法对该问题进行迭代求解。该算法的重要特点是,在每一轮的迭代过程中,仅仅对WMMSE问题进行粗略求解,从而简化了算法结构和加速了算法收敛过程。本文证明了尽管没有对WMMSE问题进行精确求解,所提出的算法仍然能够确保收敛到静态解(Stationary Solution)。其次,为了便于算法的高效实现,进一步利用交错方向乘子法(Alternating Direction Method of Multipliers,ADMM)对每轮迭代过程中的WMMSE进行转换和分解,最终设计出高效的分布式算法。该分布式算法的每一步都具有闭合解,因而具有极低的运算量。最后,通过一系列仿真实验,验证了所提算法的有效性和高效性。