随着新的移动应用场景和需求不断涌现,移动通信技术面临着海量移动数据传输和大量无线设备接入的挑战。大规模多天线(massive multiple-input-multiple-output,massive MIMO)和设备对设备通信(device to device communications,D2D)是第五代移动通信支持增强型移动宽带和海量机器互连通信两大业务场景的关键技术。高效地融合这两项技术,特别是利用大规模多天线的优势抑制D2D带来的干扰,有着重要的研究价值。本文针对利用大规模多天线抑制D2D干扰的问题,研究了大规模多天线用于发射机抑制D2D干扰的信号处理方法和遍历容量,也研究了大规模多天线用于接收机对抗D2D干扰的高效检测算法。首先,本文研究了在基站的大规模多天线上运用天线选择等方法,抑制下行链路和D2D通信之间相互干扰的遍历可达速率。在推导了采用天线选择方法抑制D2D干扰所能达到的遍历可达速率的闭式解之后,运用简森不等式获得了该遍历可达速率的上下界,并利用所得的上下界分析了系统在噪声受限场景和干扰受限场景下的行为。在此基础上,本文侧重分析了天线数量对遍历可达速率的影响。理论分析和仿真结果表明,天线选择方法的遍历可达速率随着天线数量增长渐趋饱和。进一步地,本文考察了波束成型和干扰迫零策略,证明了这两者的遍历可达速率随着天线数量的对数增长。其次,本文针对D2D干扰信源数量大、可以将干扰等效为噪声处理、且信道具有空间相关性的场景,提出了格缩减辅助的置信度传播算法和格缩减辅助的期望传播算法。在分析了空间相关性对马尔科夫域置信度传播算法的性能影响的基础上,本文提出了利用最小均方误差检测辅助确定格缩减星座图和基于高斯近似实现符号概率转换的方法,实现了格缩减方法和马尔科夫域置信度传播算法的结合,并运用同样的方法实现了格缩减方法和期望传播算法的结合。这两种算法在上述场景中有3到7dB的性能增益,可作为大规模多天线的检测算法用于抑制上行链路和D2D通信之间的相互干扰。第三,本文针对D2D干扰信源数量小、不能将干扰等效为噪声处理、且信道具有空间相关性的场景,提出了格缩减辅助的白化置信度传播算法和格缩减辅助的白化期望传播算法。本文实现了干扰白化方法与前述格缩减辅助的置信度传播算法、期望传播算法的结合。这两种算法在上述场景中有5到10dB的性能增益,可作为大规模多天线的检测算法用于抑制上行链路和D2D通信之间的相互干扰。最后,本文基于通用服务器搭建了大规模多天线的原型系统,围绕着保证实时性和提高计算效率两个核心问题,提出了采用FPGA协处理器隔离硬实时的射频单元和软实时的基带单元、在服务器端进行并行处理的解决方案。通过在集群、多核、数据等层面对现有系统的优化,该原型系统在通用服务器、以太网的硬件体系结构和多线程软件架构上,确保了实时性和高效的基带处理,成功地将信道估计和期望传播多天线检测等基带信号处理算法实现在通用服务器平台上,实现了视频传输,加速了对信号处理算法的验证,对具有高度灵活性的基带处理系统进行了探索。