在可见光通信系统中，发光LED照明设备和光感PD器件是其重要的组成部分，也是限制通信系统性能的主要器件。不同信号的调制方式在非线性可见光通信系统中的性能存在差异，使用线性化技术能够抵消LED等器件的非线性，提高通信系统的线性度，使得失真信号恢复可检测的范围内。自适应数字后失真、∑-△调制方式以及micro-LED阵列的可见光通信系统提供了有效解决线性化性能的方案，是可见光通信系统切实可行的研究方向。　　面向新兴的可见光通信系统通信技术的应用与发展，本文分别从理论推导、算法设计、仿真实验等角度研究了可见光通信系统的非线性建模，自适应后失真算法及优化、∑-△调制方式和micro-LED阵列的数字控制可见光通信系统传输等内容。这些研究涵盖了基础理论到实验验证等方面，对非线性可见光通信系统的线性化技术的实际应用和产业化具有指导意义。全文的主要贡献体现在如下几个方面:　　第一、当前通信系统常用的调制信号具有较高的峰均比(PAPR)，信号的不同幅度遭受不同的失真噪声。使用脉冲幅度调制方式，非线性特性响应直接作用于可见光调制强度上。大信号失真较大淹没于失真噪声中，而小信号工作于线性区。使用正交线性变换或离散多音频调制方式，失真噪声均匀的分布在每个子载波数据上。我们通过理论和仿真结果分析在非线性可见光通信系统中，在相同失真噪声情况下，使用离散多音频调制比脉冲幅度调制方式可获得好的系统性能。同时应用了自适应后失真技术下使用DMT调制改善系统性能。　　第二、VLC系统中的信道间距明显宽于信号带宽。因此，相邻信道干扰(ACI)不是限制系统性能的一种主要因素。预失真技术并不是一个有高效的方法，因为在发送端它需要额外的反馈物理电路。提出一个在接收机自适应数字后失真技术估计和补偿的非线性特性。自适应后失真技术只需要一些额外的计算资源。此外，该方法显著提高了可见光通信系统的误差向量和误码率性能，并用仿真结果验证了理论分析的正确性。　　第三、目前在可见光通信系统中使用的白光LED器件的调制带宽十分有限。此外，LED器件中存在的非线性特性限制了高峰均比、高频谱效率的调制方式。这些非线性特性限制了可见光通信系统的总体吞吐量。提出在发送高端使用单比特∑-△调制器(SDM)。使用∑-△调制器是兼容当前LED照明系统，单比特∑-△调制器相当于OOK调制信号，对可见光通信系统非线性具有一定鲁棒性。此外，单比特∑-△调制器的输出信号具有与原始输入信号相同的高频谱效率。在接收机使用模拟滤波和数字信号处理理论可有效抑制信号的带外量化噪声。仿真和实验结果验证使用∑-△调制器可以显著提高可见光通信系统性能。　　最后，发光二极管限制了信号带宽因此成为传输数据速率的瓶颈。当前使用micro-LED阵列的可见光传输系统拥有巨大的潜力，其调制带宽比传统的白光LED器件宽10倍。另一方面，micro-LED阵列的非线性也十分显著。在可实现的数据速率和传输范围内，非线性失真降低系统传输性能。我们提出一个数字控制micro-LED阵列的可见光通信系统架构，即使用了micro-LED阵列带来的高调制带宽，又避免了非线性失真带来的性能降低。并通过比较现有的多个LED传输结构，我们提出micro-LED阵列架构对抵抗非线性失真具有鲁棒性。