可见光通信(VLC)作为一种高效、安全的无线通信技术,不仅可以有效地缓解如今无线频谱资源日益短缺的情况,也可以满足高速数据信息时代对通信速率的需求。但是,目前VLC领域还存在一些问题有待进一步解决。其中主要包括:缺乏针对不同场景下可见光信道建模的基础性研究;如何利用其他关键技术来对VLC系统性能进行优化;传统信道估计方法估计性能受限等。因此,为了实现更为高效可靠的VLC系统,本文主要从可见光信道建模出发,对VLC系统的信道模型、信道特性和性能指标进行了总结和分析。然后分别从信道编码和信道估计两个方面对来优化VLC系统的性能。一方面,为了提高VLC系统的频谱效率和传输时延,采用更适合少量接收用户的非正交多址接入(NOMA)技术作为系统的接入技术。此外,为了提高VLC系统的可靠性,采用纠错性能更好、编译码复杂度更低的Polar码作为系统的信道编码方案。提出了基于Polar码的NOMA-enabled VLC系统模型,设计了系统的发射端和接收端架构,并在接收端提出了一种基于连续取消和连续干扰消除的联合译码算法来对接收信号进行解码。最后,通过仿真成功验证了基于Polar码的NOMA-enabled VLC系统相比于基于Turbo码的系统,不仅具有更好的纠错性能,系统的整体实现复杂度也更低。另一方面,为了进一步提高VLC系统的通信容量,结合大规模多输入多输出(MIMO)技术,通过在发射端和接收端分别以阵列的形式部署发光二极管(LED)和光电二极管(PD),建立了基于LED和PD阵列的大规模MIMO可见光信道模型。为了实现更为高效可靠的大规模MIMOVLC系统,确保精准的信道估计是至关重要的。但是,由于传统的信道估计方法在大规模MIMO场景下估计性能的受限,本文利用大规模MIMO可见光信道的稀疏特性,将信道矩阵看作一个二维自然图像。然后,通过深度学习领域中的图像去噪的方法,设计和训练了一个快速和灵活的去噪卷积神经网络(FFDNet)来对信道进行估计。最后,仿真结果表明,相比于传统的信道估计,基于FFDNet的信道估计方法可以获得更好的估计性能。