作为下一代移动通信系统的潜在技术,大规模MIMO技术和全双工双向中继系统均具有提高系统频谱效率和能量效率的潜力。本文主要在全双工双向中继系统中,结合大规模MIMO的运用,分析与优化系统的频谱效率和能量效率。首先研究在大规模MIMO的全双工双向中继系统中,考虑中继端信道估计存在导频污染,并考虑系统存在残留回路干扰(RLI,Residual Loop Inerference),且RLI不可等效为中继端的加性高斯噪声。当中继天线数趋于无穷大时,分别针对最大比合并/最大比发射(MRC/MRT,Maximum-Ratio Combing/Maximum-Ratio Transmission)和迫零接收/迫零发射(ZFR/ZFT,Zero-Foring Reception/Zero-Forcing Transmission)两种线性波束赋形方案,分析系统的渐近性能。并且针对此系统分别提出了以最小化功耗和最大化能效为优化目标的优化问题,以及对应的系统功率分配和中继端天线数分配的优化算法,两个优化问题均可被近似为几何规划并通过迭代进行求解。仿真结果表明所提出的算法均能较好地优化系统性能。其次,在多对用户的MIMO全双工双向中继系统中,考虑中继端存在信道估计误差和RLI,并将RLI等效为一种加性高斯噪声,提出了联合优化频谱效率和能量效率的迭代算法,针对中继端波束赋形矩阵和系统功率分配进行迭代优化。并利用半正定松弛方法和基于泰勒展开的近似优化方法优化中继波束赋形矩阵,而对于系统功率分配的优化,则将优化问题其近似为几何规划,通过迭代求解逼近其最优解。仿真结果表明,该算法可以同时提高全双工双向中继系统频谱效率和能量效率。最后在单对用户的全双工双向中继系统中,同样考虑信道估计误差和RLI,并且不将RLI等效为高斯噪声。文中提出了三种不同优化目标的功率分配方案,分别为最大化单个用户的SINR、最大化端到端最小SINR和最大化频谱效率。仿真结果证实,相比中继以最大功率发射信号,所提出的功率分配方案均可在优化系统性能的同时,使得中继发射功耗和系统功耗相应减小。