人类社会在迈向信息化的过程中,光通信呈现出了无与伦比的优势,未来社会必将进入一个巨大容量、超高速的光通信时代。目前无线电频谱关系到政治、经济、军事等各个方面的利益,已成为国家重要战略资源,而随着多媒体网络的通信带宽和移动性需求的逐步增加,人们正面临着无线低频谱资源紧缺、高频资源闲置的现象。考虑到通信系统在完成其规定任务时的辐射,传导电磁发射电平在不同频段内功率与时间分布的复杂多变性,以及在光纤传输过程中的色散、非线性效应问题等,这些因素很大程度上影响着信号传输的质量。因此同时具有高效的高能量利用率和高频谱利用率的传输体制,能最大限度压缩无线传输频谱,是实现高效通信的有效途径,其具有直接的经济利益和重要的战略性意义。针对上述现状和问题,本文采用ROF技术并融合具有成本低、业务透明化、易维护等优势的无源光网络（PON）,分析研究了ROF系统中的关键技术之一:毫米波的产生方式;为了减少光传输中对光纤色散的依赖性,实现大容量、远距离的传输,本文深入研究了铌酸锂-马赫曾德尔调制器的基本原理并进行了公式推导,用光双二进制码型结合波分复用技术来进行信号的传输;为了提高频谱利用率,本文对相移键控调制解调进行了理论分析,并采用optisystem仿真软件设计了基于8PSK和16PSK调制的ROF系统,研究了两种调制技术对系统传输质量的影响。具体工作如下所列:首先,在复杂电磁环境背景下,将传统NRZ调制格式作为参考,提出了一种新型光双二进制调制格式,设计了一种新型双接入PON系统,通过眼图和光电谱图对比分析了两种调制格式的传输性能。实验结果表明:采用LDF-ODB调制的光信号频带宽度较窄,主要集中在中心频率（193.07THz）附近,频带利用率高,但其误码率较高,约4.14e^-8;采用NRZ调制的光信号频谱宽度较宽,故频带利用率低,但其误码率要低于LDF-ODB调制,约7.24e^-11。该系统模型中单模光纤、叉子、光放大器、光电二极管等器件的使用,使得系统设备成本较低,色散容限较高,频谱效率较高,抗非线性效应较高,为用户提供了灵活接入PON系统的两种调制方案。然后,根据MPSK调制具有频带利用率高的特性,本文以八进制相移键控（8PSK）和十六进制相移键控（16PSK）调制为例,设计了一种基于马赫增德尔调制器的抑制奇次边带ROF系统,在不同光信噪比（OSNR）条件下对比两种调制信号的光谱图、星座图以及误码率曲线,分析得出8PSK信号的传输性能优于16PSK信号;还讨论了在15GHz和20GHz的射频信号下两种调制信号的传输性能,通过分析接收信号的星座图和误码特性证明:与16PSK信号相比,8PSK信号减少了调制信号的频率,更好的节约了频谱资源,增大了通信容量,实现了稳定传输。最后,本文针对色散和非线性问题设计了一个全双工光载无线通信（ROF）链路方案。系统的下行链路分别用8PSK和16PSK进行调制解调。运用控制变量法控制光信噪比（OSNR）和传输距离的值,通过观察两路信号的光谱图及误码率曲线的差异,分析两种调制方式的优劣性及系统的传输性能。为了进一步减少系统成本,优化资源配置,在上行链路中,将下行链路中未被调制的光信号作为上行基带信号的载波信号,采用DPSK调制后传输返回中心站。