随着移动通信产业的迅速发展,对通信数据的传输速率和传输质量要求越来越高。传统的射频通信存在频谱资源受限的问题,可见光通信因其绿色、安全性高、频带资源丰富等优点,越来越受到科研人员的关注,成为5G的重要补充技术。本文搭建了可见光通信系统,在此基础上引入了新的调制技术,有效增强了VLC的误码率性能和系统容量,以适应未来的高速、大规模连接和低时延的5G通信场景需求。本文的主要研究内容和结果包括:（1）阐述了室内可见光通信的基本原理和系统组成。基于可见光通信的链路模型和信道模型进行了建模分析,并搭建了可见光通信实验系统。（2）将稀疏码分多址技术应用于可见光通信中,针对VLC的特殊调制,利用映射将复数信号转化为实数信号。采用华为公司的码本和MPA译码算法,设计了仿真方案。仿真结果表明,将SCMA用于VLC中,六个用户共用四个物理资源块,系统容量提升50%。但由于码本的非正交性和VLC信道中周围环境光的干扰,使其误码率性能下降,在误码率为10^-3时,与AWGN信道相比,信噪比增加了17d B左右。同时设计了基于SCMA的离线实验。（3）将多输入多输出技术应用于可见光通信中,主要包括空时编码技术以及接收分集技术。针对MIMO室内光源布局问题,考虑包含直射链路和一次反射链路下系统的光照度标准差和信噪比均值。在满足国际标准照度的前提下,建立了一个将照度均匀性和信噪比结合起来的函数。当房间模型为4m×4m×4m时,采用4组LED阵列对称分布的方式。仿真结果表明,MIMO结构相比SISO,功耗降低了17.4%。当LED阵列到房间四周墙壁的距离为1m,LED阵列中各灯珠距离为0.025m时,为最优光源布局,此时VLC整体性能最优。（4）提出将SCMA技术和MIMO技术相结合,应用于可见光通信中。以上述最优MIMO光源布局为基础,搭建了MIMO-SCMA VLC系统模型,并进行仿真。在系统中引入STBC发射分集和接收分集技术,进行不同接收分集技术,不同接收分集数目和不同空时编码矩阵下误码率性能的对比。仿真结果表明,最大合并比技术（MRC）具有最好的接收性能,随着发射端和接收端数目的增多,VLC系统误码率性能有了很大的提高。在误码率为10^-2时,与SISO-SCMA系统相比,4发4收的MIMO-SCMA系统有12d B左右的增益。MIMO-SCMA VLC系统在增加系统容量的同时,提高了传输信息的稳定性。