Radio over fiber(RoF)技术的应用存在着巨大的优势和美好的发展前景。但随着调制速率和调制频率的增大，RoF系统的传输非线性变得较为突出，成为影响系统性能的一个重要因素，这也是RoF技术真正得到广泛应用所必须解决的问题。本文建立了一个RoF系统，并对其性能进行了研究。在性能研究方面，测试了1550nm波段的RoF系统的1GHz～18GHz微波通信各种性能参数，包括系统响应、噪声系数、三阶互调、动态范围等，并给出RoF系统中各个部分对性能影响的分析。在改善系统频率响应不平坦方面，利用光纤布拉格光栅(Fiber Bragg Grating，FBG)的透射谱来实现频响倾斜的补偿。根据不同RoF系统的频响特性，进行理论计算并根据计算结果制作合适的FBG，将其置入RoF系统进行抑制载波和频响均衡，以及在长距离传输系统中进行残留边带调制在改善频响的同时弥补了长距离光纤传输引起的色散问题。实验结果表明不同的RoF系统经过改善后的频率响应平坦度可以达到±2dB，可以满足实际通信要求。