无线传输中的多用户干扰问题越来越突出,如何有效地抑制干扰是提高网络数据吞吐率的关键。在众多的干扰抑制方法中,干扰对齐(Interference Alignment, I A)方法能够把有用信号和干扰投影到不同的信号子空间,从而有效地抑制干扰,提高系统的和速率。因此,基于干扰对齐的多用户无线传输具有非常广阔的应用前景。但是,其仍然面对许多挑战,其中包括：如何有效抑制干扰泄漏、如何有效提高系统的信干噪比(Singal-to-Interference plus Noise Ratio, SINR)、如何降低算法的复杂度、在用户数超出IA可行性条件上限的情况下如何抑制干扰以及如何优化系统的调制方式等。因此,本文重点研究了基于干扰对齐的无线传输优化方法,其中包括：低复杂度干扰泄漏抑制算法、低复杂度最大化SINR算法、用户分组方法以及调制方式。首先,本文研究低复杂度干扰泄漏抑制算法,针对传统最小化干扰泄漏(Minimizing Interference Leakage, MinIL)算法复杂度高的问题,提出一种低复杂度的有向四阶优化(Directional Quartic Optimal, DQO)算法。干扰对齐首先需要解决如何有效地抑制干扰泄漏的问题。传统的MinIL算法能够达到较低的干扰泄漏,但是其计算复杂度随着天线数和用户数的增加而迅速上升,严重限制了IA在大规模网络中的应用。本文提出的DQO算法利用了线性搜索的策略,并且通过最优化一个四次函数得到最优的搜索步长,从而使得算法能够直接趋向收敛点。理论分析和仿真实验表明,DQO算法具有比MinIL算法更快的收敛速度和更低的计算开销。在达到相同干扰泄漏的前提下,DQO算法能大幅度降低所需的迭代次数。其次,本文研究提高接收端信干噪比算法,并针对传统最大化信干噪比(Maximizing Singal-to-Interference plus Noise, Max-SINR)算法计算复杂度高的问题,提出一种主方向搜索(Principle Direction Search, PDS)算法。干扰对齐除了考虑干扰泄漏外,还需要进一步考虑如何提高接收端信干噪比。传统的Max-SINR算法能够有效地提高网络中每个数据流的SINR以及系统的和速率,但是当系统的用户数接近IA可行性条件上限时,该算法所需的迭代次数和时间将会大幅度上升。针对这个问题,本文对Max-SINR算法的性质进行深入的理论分析,推导出该算法的若干重要性质。本文引入了主方向的概念,并且提出了一种基于主方向搜索的最大化SINR算法。理论分析和仿真实验表明,在用户数接近IA可行性条件上限时,本文所提出的PDS算法能够实现高和速率,同时具有比传统的Max-SINR算法更高的收敛速度和更低的计算复杂度。然后,本文研究用户分组方法,并针对用户数超出IA可行性条件上限的情况提出一种基于空码域联合分组(Joint Spatial-Code Clustered,JSCC)的干扰对齐算法。目前,IA网络中的用户数仍然受到IA可行性条件的制约。因此,系统的天线数必须随着网络规模的增大而上升。当系统中的用户数超过IA可行性条件上限时,传统的干扰对齐方法将无法把有用信号和干扰进行对齐,进而引起服务质量的大幅度降低,甚至导致通信中断。本文提出的JSCC-IA算法,能够在用户数超出IA可行性条件上限的情况下,有效地抑制干扰,从而提高系统可容纳的用户数。本文分析了该算法在对称网络下的误码率的解析表达式,并且针对非对称网络,提出一种随机分组选择(Random Grouping S election,RGS)算法。RGS算法能够选择更好的分组方式,从而进一步提高系统的性能。最后,本文研究传输中的调制方式,并提出一种基于连续相位调制(Continuous Phase Modulation,CPM)的干扰对齐算法。CPM体制能够有效地降低信号的占用带宽,提高系统的频谱利用率,降低系统的误码率。与传统的二进制相移键控(Binary Phase Shift Keying,BPSK)调制方式不同,CPM的相位是连续变化的,因而其信号频谱具有更低的旁瓣和更快的滚降速度。同时,相位所具有连续性和记忆性还可以在检测器中被进一步利用,从而实现更低的误码率。另外,针对CPM-IA体制下解调器复杂度高的不足,本文提出一种基于脉冲幅度调制(Pulse Amplitude Modulation, PAM)分解的解调算法,能够有效地降低解调器所需要的前端相关器个数及维特比解码器的状态数。最后,本文基于CPM-IA具有窄带宽和高频谱利用率的优点,提出一种空域频域联合的CPM-IA体制。该体制能够在用户数超出IA可行性条件上限的情况下,抑制传统IA无法处理的干扰,从而实现更多用户间信息的可靠传输。