多输入多输出(MIMO)技术能够成倍地提高无线通信系统的容量和频谱利用率,但同时造成了空间信号的严重干扰。MIMO预编码技术可以消除空间信号干扰,降低接收端信号检测的复杂度：协作多点传输(CoMP)技术能够解决小区间干扰问题,显著提高小区边缘用户的谱效率。论文研究MIMO预编码技术与CoMP技术,主要工作包括以下三部分：第一部分研究MIMO预编码技术。总结和比较了现有线性/非线性预编码算法的优缺点,深入研究了非线性预编码中的模代数预编码(THP)技术,提出一种基于格点减少技术的THP改进算法。该算法利用格点减少技术对MIMO通信系统的信道矩阵进行正交处理,解决了传统THP算法在信道正交性不理想情况下性能较差的问题。理论分析和仿真结果表明,在维持相同量级算法复杂度的基础上,改进THP算法改善了传统THP算法的误码性能,和提高了用户间的公平性指标,表现出比排序算法更优的性能。此外,将改进THP算法应用到实际MIMO信号传输系统,搭建了系统框架结构,设计了系统传输流程,实现了具有高可靠性的MIMO信号传输系统。第二部分基于单用户场景研究和评价CoMP技术。分析了上/下行链路CoMP以及相干/非相干联合传输技术,仿真证明了CoMP技术相对于单小区MIMO技术在提高系统吞吐量方面的优势和CoMP不同实现方案的可行性。针对非相干联合传输技术中本地预编码和单频网(SFN)预编码原有算法存在的问题,提出了相应的改进算法：针对本地预编码的层间干扰问题,提出了一种基于层交换的本地预编码改进算法；针对SFN预编码中信道合并不确定性问题,提出了两种改进算法,分别通过引入相位参数和改变发射端数据流与物理发射天线的映射关系消除信道合并的不确定性。理论分析和仿真结果表明本文提出的改进方案能明显提升小区边缘用户的谱效率,且能适用于相干/非相干信道、低/高秩信道等多种场景。第三部分研究双极化信道下的CoMP极化干扰消除方法。总结了现有反馈机制的不足,提出了信号接收算法处理后的干扰分析方法,设计了一种在双极化信道场景下无需额外反馈的CoMP极化干扰消除方法。该方法只需要通过传输节点之间交互较少的预编码结构信息即可达到很好的干扰消除效果,提高系统性能的同时显著降低反馈量。链路级仿真证明该技术方案能够明显提高信扰比增益；系统级仿真证明了该技术方案在对抗小区间干扰和提高系统频谱效率方面的有效性。