可见光通信（Visible Light Communication,VLC）技术具有频谱资源丰富、安全性强、适用于复杂电磁环境等优点,被视为5G通信的重要支撑技术。VLC系统采用发光二极管（Light-emitting Diode,LED）进行信息传输,可兼顾照明与通信需求,因此具有广阔的市场应用前景。将空间调制（Spatial Modulation,SM）、协作通信与VLC技术相结合的通信方案设计是当今的研究热点。SM技术可利用天线的空间维度,与二维调制信号形成三维调制,因而有效提升VLC系统频谱效率。协作通信技术则可通过中继节点参与传输,显著提高VLC系统的可靠性及通信范围。因此,本文主要研究了 VLC中的高效空间调制方案及协作方案设计,有效提升了系统传输可靠性。以下为本文主要工作:（1）为高效利用天线资源,打破传统广义空间调制（Generalized Spatial Modulation,GSM）系统对可用发送天线组合数量的限制,提出了一种基于多天线状态的全广义空间调制（Fully Generalized Spatial Modulation,FGSM）方案。本方案将发送天线状态由2个扩展为3个,增加了可能天线组合数量,然后通过设计空间域、信号域联合映射规则,利用所有天线组合发送信息,从而减小系统发送符号的调制阶数,进而提升了系统可靠性。本文进一步分析了系统平均误比特率（Average Bit Error Rate,ABER）性能,并给出了理论上界表达式,最后经计算机仿真验证了所提方案较其他GSM方案的性能优势。（2）针对传统SM方案及其天线分组方案中发送天线数必须为2的整数幂次方的限制,本文提出了一种基于空间星座的分组空间调制方案,适用于任意发送天线数场景,其将发送天线分为2组,每个时隙根据比特选择1组天线进行信息传输,第1组天线数为2的幂次方,并进行传统SM映射;第2组天线数可为非2的幂次方,并进行全空间调制映射,其联合映射规则与（1）中方案相同。当发送天线数为2的幂次方时,则天线等分为2组,均进行SM映射。此外,本方案通过空间星座承载部分信息比特,有效降低了信号调制阶数,提升了系统ABER性能。最后,本文给出了所提方案的理论性能表征,并通过仿真证明了所提方案ABER的性能优势。（3）针对VLC系统中传输符号为正实值信号的限制,为提升系统性能并实现复数信号传输,提出了一种基于双LED复合调制（Dual-LED Complex Modulation,DCM）的全广义空间调制方案,采用两个LED分别发送复数信号的模值与相位。本方案通过联合映射规则,采用所有可能的DCM组合以降低发送符号的调制阶数,实现复数信号传输并提升了系统性能。为进一步提升VLC系统通信范围及可靠性,提出了一种基于空间星座的高效协作全广义空间调制VLC方案,结合了 SM与协作技术的优势,其利用空间星座并通过空间域、信号域的联合映射,降低了系统信号星座的调制阶数,同时采用解码转发（Decode-and-Forward,DF）协议,有效克服了信道衰落及物体遮挡影响,从而提升了系统ABER性能。本文给出了系统ABER性能的理论上界,并通过仿真验证了所提方案ABER性能明显优于传统方案。