最近几年,随着互联网技术的迅速发展,我们已然进入了一个新的时代——互联网时代,人们对数据的需求呈现爆炸式的增长。那么这就要求通信系统具有更高的传输速率和带宽,然而在传统移动通信系统中低频段的频带资源已划分完毕,面临速率提升的瓶颈。为了解决这个问题,人们对更高频率的无线通信技术以及光纤接入技术进行了深入的研究,都取得了重大的成果。光载射频(Radio Over Fiber, ROF)技术,采用光纤来传输射频信号,该技术结合光纤通信的高容量、低损耗以及无线通信灵活的接入特性,能够很好的解决频带枯竭的问题,是未来无线通信的研究热点,同时具有很大的发展潜力。本文主要对ROF系统中基带信号的调制技术进行了深入的研究。本论文的主要工作和成果如下：首先,对现如今ROF技术的研究现状和发展趋势进行了深入的研究分析,深入了解了ROF技术中光域毫米波信号的产生技术,光检测技术,基站简化技术以及基带信号调制技术,其中基带信号调制技术是本文的研究重点。其次,针对ROF系统中的基带调制技术,本文研究了基于I/Q调制器的ROF系统模型,并对该系统模型进行了详细的数学推导。根据系统模型的特点将系统分为上行链路和下行链路单独进行仿真分析。分别研究了不同调制格式下,调制指数对系统性能的影响,以及I/Q调制器的非线性特性对复用以后信号的影响。并采用一种预失真方法来改善由于调制器的非线性特性对系统性能的影响。然后,本文对基于I/Q调制器的ROF系统,搭建实验平台进行实验研究,在实验中发现激光器线宽和频偏对系统性能影响严重。先通过仿真实验的方式研究分析了激光器的频偏和相位噪声对系统性能带来的影响。对于频偏,文中分析了在相干传输系统中最常用的两种频偏估计算法。对于相位噪声,本文采用差分相位检测的方法来抑制相位噪声对系统性能带来的影响。最后,对实验采集到的数据采用频偏估计和差分检测进行恢复处理,研究不同接收光功率以及不同载波频率下系统的性能。