高速大容量光纤通信系统的发展以及全光网关键技术的突破，使得下一代移动通信系统逐渐发展成为一种有线通信与无线通信融为一体，固定通信与移动通信相互连通的通信系统。光纤无线电(RoF)作为一种新型的宽带接入方式，同时结合了光纤通信的低损耗、高带宽及无线通信的移动便携性，近年来得到了广泛关注。本文基于光注入半导体激光器的单周期振荡(P1)非线性动态性能，从光载无线电信号的调制编码方式以及光纤传输信道的链路管理两个方面，对光纤无线电系统中由光纤色散及非线性效应引起的功率代价及信号畸变进行了一系列优化设计研究。不仅解决了色散致常规双边带(DSB)信号射频(RF)功率振荡、非线性效应致单边带(SSB)及光载波抑制(OCS)射频调制方式的功率振荡问题，而且在系统传输性能优化的基础上提出了一种适合数据调频(FM)方式的预编码方案。此外，针对高速大容量光纤传输链路，提出了“一对多”成比例平移对称补偿系统并采用后验维纳滤波理论，对光纤传输链路中的色散、带间、带内非线性效应及参量放大噪声的联合影响进行了有效补偿。本文主要研究内容及结果如下：首先运用龙格—库塔积分法对光注入半导体激光器耦合速率方程进行了数值求解，在单路光注入时系统非线性动态性能研究的基础上，发现了双路光注入时半导体激光器表现出的一些光谱输出特性：低频光弱注入、高频光强注入可以在单独高频光注入时P1频谱的基础上产生周期性边频分量，为波分复用(WDM)光载无线电信号的产生提供了多路光载射频信号；P1状态下低频光强注入、高频光强注入时可以增大该低频光产生的射频副载波频率，拓展其P1状态动态范围。该方法不仅在一定注入光频率条件下提高了输出光的射频副载波频率，为外加数据传送提供足够的带宽，而且为今后光载高频数据信号的产生提供了新的设计思路。采用频率响应法，对副载波调制下单频数据输入，射频调制分别选取DSB、SSB及OCS、数据调制分别采用调幅(AM)和FM方式时，光纤无线电系统已调信号在光纤色散作用下的基站发射光电流表达式进行了理论推导，并通过分步傅立叶算法求解非线性薛定谔方程(NLSE)，数值模拟了上述各调制组合信号对光纤损耗、色散及非线性效应的完全响应。研究结果表明，与FM下各射频调制信号传输性能相比，AM各射频调制信号频谱展宽严重，抗光纤非线性能力较弱，数据调制深度可用来改变各已调信号的基站发射功率振荡振幅，各振荡周期可由光纤色散及射频副载波频率来控制。对2.5GHz单极性归零RZ码、非归零NRZ码及差分相移键控归零码RZ-DPSK数据输入时，AM及FM在DSB、SSB及OCS射频载波调制方式下，RoF系统的传输特性进行了数值模拟。通过已调信号光谱变化及功率代价变化发现，RZ-DPSK信号光谱展宽最小，抗非线性能力最强，而RZ码功率振荡振幅小，抗色散能力最强，而同等条件下调频信号的光谱展宽及功率代价又小于对应的调幅信号。虽然调频信号的整体抗色散非线性能力强于调幅信号，但由于副载波调频方式下不同数据码具有不同的射频副载波频率，从而具有不同的振幅振荡周期，为使其同步振荡，提出了调频负电平编码方式，在保证较好的系统传输特性的基础上优化了接收数据的眼开度代价。根据光纤色散传递函数及非线性薛定谔方程的一阶微扰解，分别推导出了光相位共轭(OPC)的色散非线性效应补偿条件，并将其用于RoF光纤传输链路。数值模拟结果表明，采用中点OPC色散非线性补偿技术后，前半段光纤传输引入的功率代价及眼开度代价振荡会在后半段光纤传输过程中得到对称性的还原，且该技术对发送信号调制方式透明。针对高速大容量光纤传输链路，提出了关于OPC成比例镜像对称以及平移对称补偿链路模型，镜像对称系统要求分布式放大光纤与常规光纤关于OPC的功率对称传输来实现精确的色散非线性效应补偿，但两段光纤色散值同号；平移对称系统使用色散值反号的两段常规光纤即可实现色散以及一阶非线性效应补偿。利用一阶非线性效应随传输距离的线性可加性，提出了“一对多”跨距成比例平移对称的色散非线性同步补偿系统，使具有高非线性系数的光纤跨距去补偿若干个具有低非线性系数光纤跨距的一阶非线性效应，并采用后验维纳滤波方法，对在线光放大器在非线性效应作用下引起的参量放大噪声进行自适应滤波，取得了很好的滤波效果。综合上述研究结果可知，本文提出的光载无线电信号调制编码方式以及光纤链路优化策略均能有效改善光纤无线电系统传输性能及信号畸变，对于进一步提高系统传输带宽、扩大系统容量具有重要的理论和应用价值。