任何实际的通信系统都无法避免由于功放的非线性而引起的信号失真,这种失真会带来信号的带内畸变和带外干扰,严重影响系统性能。特别是对于峰均比高的多载波系统,这个问题尤为严重。本文以“非线性失真环境下的多载波系统优化设计”为主题,针对“非线性功放引起的限幅失真”这个特殊的环境,从多个角度研究了对于多载波无线通信系统的优化方法。为了对本文的主题有一个更全面的认识,在文章的开始,本文总结了对“多载波系统中的非线性失真”的研究现状,并从中分析了当前研究中存在的问题和值得进一步研究的方向,以此为基础深入研究,得到了一系列结果。本文首先研究了非线性失真环境下,应该如何衡量多载波系统的接收信号质量。这是非线性失真环境区别于普通理想环境的关键问题,也是本文整个研究的理论基础。通过分析信号噪声畸变比(Signal to Noise plus Distortion Rate,SNDR)与系统误符号率(Symbol Error Rate,SER)之间的关系,我们认识到可以用SNDR这个量来代替理想环境下的信噪比(Signal to Noise Rate,SNR),以衡量非线性失真环境下的接收信号质量。得到这个结论之后,本文利用SNDR推导了最简单的非线性失真环境——点对点的单天线通信系统的系统容量公式。对照这一公式可以发现,不同于理想环境,功放输入功率的增加不仅仅会带来有用信号的增强,还会引起限幅失真的增强;当功放输入功率增加到一定程度时,限幅失真增大到无法忽略,以至于掩盖有用信号增强所带来的性能增益,反而导致系统容量的恶化。因此,系统容量随功放输入功率的变化关系为一个倒“V”字形,当功放特性一定时,存在一个最优的功放输入功率,采用此功放输入功率能获得最优的系统容量。随后,本文利用已获得的容量公式推导了这个最优功率需要满足的关系式,但这个关系式比较复杂,无法应用于实际系统中。为了解决这个问题,本文提出了两种近似的数值方法:查找表法和曲线拟合法,这两种方法互有优缺点,实现时可以根据具体情况选用。仿真结果也证实,采用上述方法能够准确的找到功放的最优输入功率,最大化系统容量。接下来,本文研究了如何将上述结论推广到多天线MIMO系统中。同样的,本文首先推导了非线性失真环境下的MIMO系统容量公式,随后研究了非线性失真环境下的功率分配问题。不同于单天线系统,MIMO系统的功率分配不仅仅是要优化单根天线的容量,而是要在总功率一定的前提下优化所有天线的容量之和。本文首先根据新的容量公式修正了传统的贪婪算法,使之适用于非线性失真环境。随后,本文对非线性失真环境下的功率分配问题做了数学建模,并利用凸优化理论的相关知识求得了这个问题的最优解。仿真结果证实了该算法能够抑制功放失真,获得最优的吞吐量。不幸的是,同单天线系统类似,上述最优算法也存在着复杂度高无法实用的问题。为了解决这个问题,本文将上述最优算法与传统的注水算法相结合,并辅以曲线拟合法,得到了一种复杂度与传统的注水法类似,而性能与最优算法类似的新算法——试管注水法。试管注水法同时具备低复杂度和高吞吐量两大优点,适合于在实际系统中应用。最后,本文将目光转向了对于非线性失真的抑制和补偿上来。对于非线性失真的抑制主要作用于发射端,信号进入功放以前;而对于非线性失真的补偿主要作用于接收端,信号产生畸变之后。针对在发射端抑制非线性失真的两个方向:最小化高PAPR的概率和最小化畸变带来的影响,本文采用SNDR研究了它们的关系,证明了最小化PAPR概率和最小化畸变之间在统计意义下的等效性,并且基于这个分析提出了一类新的基于最大SNDR准则的非线性畸变抑制算法。采用最大SNDR准则的畸变抑制算法与采用最小PAPR准则的PAPR抑制算法有着同样的非线性失真抑制能力,却具有不同的形式,为今后的算法研究拓展了思路。而在对非线性失真的补偿方面,传统的失真抵消方法都是以线性函数来建模功放失真的。事实上,在功放的限幅门限较大时,该模型的精确度会大大下降,此时应该采用基于抛物线模型来建模失真。本文在这个前提下,用抛物线模型来代替传统的失真抵消方法中的线性模型,得到了一种新的失真抵消方法。仿真结果证实,在功放限幅门限较高时,新算法能够获得比传统算法高2dB的性能增益。