无线光通信(Optical Wireless Communication,OWC)技术因其调制带宽大,传输速率高,保密性好以及无需授权频谱等优势得到众多关注,可与传统无线射频(Radio Frequency,RF)通信形成互补,并被认为是解决未来移动通信系统中"最后一公里"问题的有效的技术之一。本文针对无线光通信系统,着重研究室内无线光通信系统中多色混合传输的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术,多用户传输时的功率分配问题以及容量分析,以及室外无线光通信中RF/FSO(Free Space Optical,FSO)混合中继传输技术。具体而言,论文的主要贡献如下:首先,第二章针对采用RGBA-LED做光源的室内无线光通信系统,提出了一种新的OFDM方案。考虑到照明和通信的双重需求,新方案利用信号分离,削波偏置/放缩削波操作对信号进行调整,使信号能够在RGBA-LED上传输。然后,进一步优化削波偏置的偏置系数以及放缩削波的放缩系数。在接收端,提出一种直接检测方案以恢复原始信号,并推导出正交幅度调制的误比特率闭合表达式。为了提高系统性能,引入线性检测算法来缓解多色间串扰的影响。此外,设计了一种低复杂度的并行干扰抵消算法以消除多色串扰。最后,在理想和实测光信道下对方案进行仿真实验。理论分析和仿真结果表明,该方案在误比特率上优于传统的OFDM方案。然后,第三章研究了室内无线光通信系统中多用户传输的功率分配问题。为了同时兼顾照明和通信的需求,首先对系统的总功率以及单个LED的光功率进行约束。在分析系统噪声模型和接收信噪比的基础上,得出系统容量的闭合表达式。然后基于功率约束条件,并以系统容量最大化为目标,将多用户功率分配问题建模成优化问题。对于同时传输模式,考虑到优化问题的非凸性,首先采用梯度投影算法得到一个局部最优解,然后利用凸松弛技术将非凸问题转化成凸问题,并得到一个高质量次优解。对于轮询模式,我们采用KKT(Karush-Kuhn-Tucker)条件,得到一个类似传统注水算法的最优解,该解具有上下削波的平方根形式。仿真结果表明,所提出的功率分配算法可提供比传统平均功率分配算法更佳的性能。最后,第四章研究了室外无线光通信系统中RF/FSO混合传输技术及其性能。在该系统中,RF链路用来支持移动通信,而FSO用来承载移动通信基站间的回程链路,两条链路通过固定增益放大转发(Amplify-and-Forward,AF)中继或可变增益AF中继技术来实现互联。对于两种中继方案,考虑到RF链路的非直达径以及FSO链路中通用的大气湍流模型,首先推导出系统端到端统计特性,如累积分布函数和矩生成函数的闭合表达式。随后使用这些统计特性计算出多进制相移键控,差分相移键控以及非相干频移键控的闭合或近似平均误符号率。其次,推导出高信噪比下不同调制方案的误符号率的渐进表达式,分析其分集度以及不同调制方案之间的性能差异,并得出一些有意义的结论。再次,从以上分析结果中进一步推出系统FSO链路服从K分布以及Gamma-Gamma分布时不同调制方案误符号率的闭合或近似表达式。最后,仿真结果验证了本章的理论分析结果和结论。