可见光通信（Visible Light Communication）系统设计需要同时兼顾通信性能和照明质量两方面的指标。考虑到这两个指标,多色（Multi-Color,MC）LED在可调色温、实现更高传输速率两方面具有优势。考虑MC LED作为系统光源,目前的研究主要集中在点对点通信场景,缺少多用户（Muliti-User,MU）通信场景下的传输技术研究。针对MC-MU VLC系统,需要兼顾多色光合成白光的照明约束与多用户通信的性能准则,相应的传输技术研究更为复杂。为了解决该问题,本文先后从发射端线性预编码、线性收发机、用户分组策略、星座、非线性收发机等多个角度开展了研究,主要研究内容和创新点如下:1.基于迫零的线性预编码设计。为了减轻MC-MU VLC系统中多用户串扰（Multi-User Interference,MUI）、多色串扰（Multi-Color Interference,MCI）对系统性能的影响,以最易实现的迫零（Zero-Forcing,ZF）作为准则,基于MC-MU VLC下行广播信道模型,考虑用户公平性与用户和速率两种典型的多用户通信性能准则,提出了一种基于最大化可达速率的线性预编码设计。该预编码设计问题中的可达速率表达式是基于幅度受限情况下的标量加性高斯信道容量上下界进行构建的,对应两种多用户通信性能准则,共有四组优化问题。针对该四组非凸优化问题,采用泰勒展开、松弛变量等方法,提出了相应的迭代求解算法求解该非凸问题。2.基于均方误差的线性收发机联合设计。为了进一步提升系统性能,同时考虑MUI、MCI与接收端噪声,以最小化所有用户的最大均方误差（Mean Squared Error,MSE）值作为优化目标函数,在颜色、光通量、信号幅值三种信号约束下,提出了一种线性收发机联合设计方法。为了求解该收发机设计优化问题,提出了一种收发机迭代求解算法。在每一步的迭代算法中,通过矩阵变换将原本非凸的优化问题表示转化为凸优化表示。仿真结果表明,所提收发机设计的误码性能优于ZF预编码设计。3.基于线性收发机的用户分组策略。考虑MUI引起了较为严重的系统性能下降、仅通过预编码无法满足系统误码率要求的情况,折中考虑传输效率与系统鲁棒性,利用多色资源将用户进行分组,提出了一种两阶段的树型用户分组算法。在用户分组算法的第一阶段,定义了基于用户子信道空间相关性的用户分组度量,并根据该度量将用户分为不同的用户分组。在第二阶段,根据多色混光比例与用户分组内的用户数目,将多色资源分配给不同的用户分组。基于用户分组结果,提出了一种基于MSE的线性收发机设计,实现单个分组内的多用户接入。4.基于色移键控的多用户关联星座设计。考虑用户公平性准则,以最大化接收端最小欧式距离（Minimum Euclidean Distance,MED）为目标,提出了一种基于色移键控（ColorShift Keying,CSK）调制的多用户关联星座（Joint Constellation,JC）设计方法。与传统多输入多输出（Multiple-Input Multiple-Output,MIMO）技术中每个用户的星座独立生成不同,所提JC设计将多个用户的发射信息进行联合映射并生成星座。由于所提JC设计优化问题非凸,采用松弛变量、泰勒展开等方法,提出了一种迭代求解算法求解该非凸优化问题。在该多用户JC设计的基础上,提出了一种星座映射方式。通过引入两种典型的VLC多址方式并进行仿真性能对比,即时分多址（Time Division Multiplex Access,TDMA）和非正交多址（Non-Orthogonal Multiple Access,NOMA）,JC获得了更好的误码性能。5.基于自编码器的非线性收发机设计。考虑非完全信道状态信息（Channel State Information,CSI）情况,引入深度学习的方法,采用自编码器（Autoencoder,AE）自动学习出一种收发机设计。为了适配MC VLC中对于颜色、信号幅值的约束,分别定义了考虑信号峰值约束的信号约束层、考虑麦克亚当椭圆约束的损失函数,构建了不受颜色数目限制的AE结构。在完全CSI的情况下,所提收发机设计方法可以达到与传统CSK星座设计相似的误码性能。在非完全CSI的情况下,所提方法可以获得更优的误码性能。