本文以利用干扰提高频谱效率和能量利用率为目标,面向未来无线通信系统中的三大新型应用场景——密集化小区、动态时分双工(Time Division Duplex,TDD)系统和带有能量收集节点的多小区协作系统,开展了基于干扰对齐(Interference Alignment,IA)和速率分拆(Rate Splitting,RS)的协作传输技术的研究,通过方案设计和理论推导,提升了IA和RS在新场景中的实用性和适应性。主要工作和创新点如下:针对动态TDD下非对称上下行干扰网络,本文提出了两种分别基于速率分拆和干扰对齐的协作传输方案,利用干扰强度和方向等性质,实现了更为高效的干扰管理,获得了更高的频谱效率。基于RS的非对称上下行协作方案利用了新干扰源的性质缓解干扰,联合优化传输方向、用户配对和协方差矩阵以最大化平均和速率。研究结果表明与传统的对称上下行传输相比,基于RS的非对称上下行传输策略可以显著提高小区边缘用户和密集小区的性能。基于IA的非对称上下行协作方案利用不同的干扰强度对部分干扰进行对齐,降低了干扰对齐闭式解对天线数的需求;提出了最小化加权均方误差(Mean Square Error,MSE)之和的正则化IA收发机设计,进一步提高了部分干扰对齐在中低信噪比(Signal-to-Noise Ratio,SNR)区域的性能。针对非理想回程链路下基于干扰对齐的多小区协作系统,本文从性能分析和方案设计两个方面进行了研究。利用解析表达式刻画出平均和速率与回程时延、回程容量和量化比特数之间的确定关系。首先,本文提出了一种新型的混合协作传输策略以缓解回程时延对协作性能的影响。该策略中,传输模式根据共享的用户数据的到达情况和最新的信道状态信息(Channel State Information,CSI)进行传输模式切换,缩短了信道估计到数据传输之间的时间,传统联合传输(Joint Transmission,JT)的回程时延问题在该框架下得到缓解。其次,为了评估容量受限的回程链路对系统性能的影响,本文给出了基于IA的平均和速率关于量化误差和回程时延的解析表达式。利用该解析结果,对量化比特和和速率进行了优化。研究结果表明,相比于传统多点协作(Coordinated Multi-Point,CoMP)传输方案,提出的混合协作方案对于回程时延具有一定的鲁棒性。最后,考虑回程时延,本文提出了两个基于格莱斯曼流形的迭代IA算法的鲁棒设计,并对提出算法进行了评估。研究结果显示,提出的算法可以提高IA对回程时延造成的CSI误差的鲁棒性。针对干扰对齐和速率分拆在实际应用中存在的问题,本文提出了一种基于信号和干扰联合对齐的速率分拆方案,并推导得到其平均和速率、中断概率和误符号率的闭式表达式。通过对性能损失的渐近分析,得到了干扰对齐和速率分拆的关系。仿真给出了不同SNR、量化比特数和功率分配因子下平均和速率、中断概率和误符号率的变化规律。研究结果表明,RS相比于IA对不完美CSI具有更强的鲁棒性,对CSI误差敏感性较低,而对齐思想可以进一步提高RS的SIC译码性能,带来和速率性能上的提升。针对非理想CSI下带有能量收集节点的多小区协作系统,本文提出了基于速率分拆的鲁棒的协作传输方案。将速率分拆的应用场景进行了进一步扩展,证明了速率分拆不仅适用于单一优化目标场景,而且在多目标优化场景中也可以获得对不完美CSI的鲁棒性增益。考虑用户进行射频能量收集的无线信息能量同传系统,提出的RS方案在目标服务质量和能量收集门限的约束下,以最小化发射功率为目标,优化公共和私有波束赋形向量、功率分流(Power Splitting,PS)比例和目标公共速率。该问题为无穷多约束条件下的非凸优化问题。为了求解该问题,本文提出了相应的转化方法和基于梯度的联合优化算法。研究结果表明基于RS的鲁棒设计相比于传统的鲁棒联合波束赋形和PS设计可以获得更高的性能增益。考虑基站收集能量在智能电网中共享的CoMP系统,本文提出了基于RS、对非理想CSI鲁棒的协作传输方案,在连续干扰删除(Successive Interference Cancellation,SIC)可译码性和最大发射功率的约束下,获得最大化和速率。该优化问题同样是带有无穷多个约束条件的非凸问题。首先,利用加权和MSE和和速率之间的关系,以及S引理,问题转化为带有有限个约束条件的逐块凸问题。然后利用交替优化算法对问题求解。研究结果表明RS和能量合作可以提高传输的对不完美CSI的鲁棒性。