由于可以将复杂时域均衡器转换为简单易实现的频域均衡器(Frequency Domain Equalizer,FDE),正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)技术被广泛应用在高速宽带通信系统中。但OFDM技术具有高峰均比(Peak-to-Average Ratio, PAR)缺点,并且需要使用高速高精度模数转换器(Analog-to-Digital Converter, ADC),因而会降低功率放大器(Power Amplifier, PA)的放大效率并增大模数转换器的功耗。使用软包络限幅器和低位宽模数转换器已经被证明可以有效地解决这个问题。但是此时会在发送端引入软包络限幅器(Soft Limiter, SL)失真(简称限幅失真),在接收端引入均匀对称量化器(Uniform Symmetric Quantizer, USQ)失真(简称量化失真)本文针对限幅失真和量化失真进行研究,概述了限幅失真和量化失真的研究现状。从中可以看到,当前的研究工作仅仅局限于非线性失真本身,而没有从系统端到端链路的角度开展。因而,本文从系统端到端链路的角度,围绕非线性失真OFDM系统性能增强和优化这个主题,提出了一套系统性能增强和优化理论,可以为OFDM系统的分析和设计提供理论指导。首先,给出了能够表征非线性失真OFDM系统性能的信号失真噪声比(Signal-to-Distortion and Noise Ratio, SDNR)定义,提出了可以评估迭代译码算法(Iterative Decoding Algorithm, IDA)误比特率(Bit-Error-Rate, BER)性能的近似表达式,克服了以往必须使用软件仿真才能得到的缺陷,仿真结果也证明了该近似表达式的合理性。由于迭代译码算法的缺点是需要使用额外的频谱来传递限幅比(Clipping Ratio, CR)参数,因而提出了一种基于导频子载波BER的限幅比估计算法。该算法将限幅比估计问题转换为一个单调函数求根问题,可以使用二分法快速求解。仿真结果证明了该算法的准确性。其次,得到了达到量化OFDM系统最大信道容量的均匀对称量化器的最优量化间隔,并解释了最优量化间隔的物理意义。基于该具有最优量化间隔的均匀对称量化器,提出了一种基于发送端子载波预留(Subcarrier Reservation, SR)的量化失真抑制算法,并使用量化失真信号的频域模型得到了信道容量损失和BER增益的关系。仿真结果证明了提出算法的有效性和量化失真信号频域模型的准确性。最后,将以上研究结果推广到同时含有发送端限幅失真的量化OFDM系统中。给出了限幅量化OFDM系统的信道容量,它是关于发送端限幅比和接收端量化间隔的二元函数。通过选择优化目标为峰均比增益和信道容量,使用遗传多目标优化算法得到了它们的帕累托前沿面(Pareto Front, PF)。