可见光通信(Visible Light Communication,VLC)不占用射频(Radio Frequency,RF)频谱资源,无需频谱许可证,且具有成本低、传输速率高、保密性好、无电磁辐射等优点,已经引起了人们的广泛关注。随着RF频谱资源的日益匮乏和对高速传输速率的迫切需求,VLC可以为室内无线通信网提供一种高速大容量的解决方案,被认为是一种具有广泛应用前景的无线通信技术。高效传输是通信系统设计的关键,近来,一些高效传输技术在无线通信中被深入地研究,包括多输入多输出(Multiple-Input Multiple-Output,MIMO)、正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)等技术。在VLC背景下,一个重要的问题是如何在考虑VLC特点的情况下优化设计这些高效传输技术,挖掘它们在VLC中潜在的应用优势。本文主要围绕VLC中MIMO和OFDM技术的优化设计展开研究,具体而言,论文的主要研究工作和贡献如下:首先,在VLC光功率约束下,研究了 VLC中MIMO收发机的优化设计。在综合考虑发光二极管(LightEmittingDiode,LED)非线性、室内照明等VLC特点的情况下,通过推导建立了适用于VLC中一般调制方案的光功率约束模型,该光功率约束可以保证LED工作在线性区域内,避免信号的非线性失真。在该光功率约束基础上,依据最小均方误差(Minimum Mean-Square Error,MMSE)准则,建立了 VLC中MIMO收发机设计的优化问题,并借助梯度投影(GradientProjection,GP)的方法,提出了一种VLC中MIMO收发机的优化算法。该算法可以有效地提升MIMO系统的性能,同时能够实现LED的调光控制,满足用户对室内照明亮度的不同需求。仿真结果表明,提出的算法可以提供比传统的基于奇异值分解(Singular Value Decomposition,SVD)方案更优的性能。然后,为了抑制多用户干扰,提升系统性能,本文探究了 VLC中多用户收发机的优化设计。根据对MIMO收发机的光功率约束,推导了 VLC中多用户收发机满足的光功率约束。在此光功率约束下,本论文研究了 VLC中多用户多输入单输出(Multiple-InputSingle-Output,MISO)收发机的优化设计。具体地,以最小化最大MSE为设计目标,建立了关于VLC多用户MISO收发机设计的优化问题,并提出了一种多用户MISO最优收发机的设计算法。该算法有效地抑制了多用户干扰,同时保证了用户间通信的公平性。在此基础上,又将迫零(Zero-forcing,ZF)准则引入到设计中,给出了一种最优的ZF收发机设计算法,该ZF算法是一种在通信性能和实现复杂度两个方面折中的方案。进一步地,本文又将研究对象扩展到更一般的多用户MIMO的场景,在光功率约束下建立了关于多用户MIMO收发机设计的优化问题,并采用迭代优化的方法,给出了一种局部最优的设计方案。仿真结果验证了提出方案相比于传统的ZF和块对角化(Block Diagonalization,BD)方案在性能上的优势。最后,本论文研究了 VLC 中光 OFDM(Optical OFDM,OOFDM)的峰均比(Peak-to-Average Power Ratio,PAPR)降低算法。为了避免频带利用率的降低和误码性能的大幅下降,本文采用了基于音调注入(Tone Injection,TI)的PAPR降低方法。根据压缩感知的相关理论,首先研究了直流偏置OOFDM(DC-biased OOFDM,DCO-OFDM)的线性TI算法,线性TI算法可以获得与传统方案相同的性能,但具有更低的计算复杂度。在此基础上,又将研究重点集中到了混合非对称限幅 OOFDM(Hybrid Asymmetrically Clipped OOFDM,HACO-OFDM)的 TI 方案上,针对 HACO-OFDM特殊的时域构造,通过分析其时域特点,提出了一种非对称限幅OOFDM(Asymmetrically Clipped OOFDM,ACO-OFDM)和脉冲幅度调制离散多音频(Pulse Amplitude Modulated Discrete Multitone,PAM-DMT)的联合TI算法,相比对HACO-OFDM中的两种OOFDM分量分别作PAPR降低,提出的联合TI算法可以获得更优的性能。最后通过仿真分析了提出的PAPR降低算法的性能。