为了满足社会日益增长的对高数据传输速率、大规模接入终端数量以及高可靠低时延通信的需求,第五代移动通信技术（the 5th Generation Mobile Communication Systems,5G）将引入许多全新的物理层传输技术。分布式大规模多输入多输出（multiple-input multiple-output,MIMO）技术作为一种极具潜力的组网技术,通过将天线单元配置在不同的地理位置,能够有效改善无线网络覆盖特性,同时频谱资源的利用率也得到了显著提升。本文主要针对分布式大规模MIMO系统下的全双工天线工作模式选择问题以及毫米波传输波束跟踪问题进行了研究。首先,介绍了分布式大规模MIMO系统的相关理论基础。主要包括无线信号的统计传播模型、MIMO信道以及分布式MIMO系统的相关理论、通信系统中常用的两种预编码方案等,并通过仿真验证了分布式系统在信干噪比性能方面相比集中式系统的优越性。接着,研究了分布式全双工大规模MIMO系统下的天线工作模式选择问题。通过设置天线选择向量,推导了分布式全双工大规模MIMO系统下的接收发送信号模型,并将天线模式选择问题转化为最小化接收信号均方误差的最优化问题。由于该最优化问题是一个非凸的离散非确定性多项式（non-deterministic polynomial,NP）问题,提出了一种基于并行连续凸近似（parallel successive convex approximation,PSCA）算法的解决方案。通过利用一阶泰勒展开和将解空间进行连续松弛的方式,该优化问题的非凸部分被转化为可解的凸问题,进而获得了问题的近似解。仿真结果表明,该算法的性能相比随机分配有较大提升,且与穷举法的性能较为接近。然后,基于第三章的系统模型与问题,从另一个角度对分布式全双工大规模MIMO系统下的天线工作模式选择问题进行了研究,提出了一种基于最优保留遗传算法的天线工作模式选择方案。通过将天线模式选择问题转化为最大化系统和频谱效率的最优化问题,并采用基于最优保留的遗传算法,对该问题进行了求解。在种群进化的过程中,选择利用最优保留的策略来保证最优个体不会因为交叉变异等原因而发生丢失的现象。仿真结果表明,该算法的性能远优于随机分配算法,与PSCA算法相比也有提升,与穷举搜索的性能较为接近。最后,研究了毫米波分布式大规模MIMO系统下的波束跟踪问题。通过利用雷达系统中的单脉冲技术,推导了毫米波分布式MIMO系统下用户到达角（Angle Of Arrival,AOA）获取方案。此外,还提出了一种基于无迹卡尔曼滤波器的跟踪算法,对非线性观测方程下AOA跟踪问题进行了研究。仿真结果显示,该算法在不同信噪比和不同天线数量时都拥有比观测值更好的跟踪性能。