随着用户对于音视频、多媒体等业务需求的不断提升,宽带化成为通信行业的一个重要的发展方向。与此同时,目前整个世界正在迈入万物互联的时代,传统的固定接入方式难以满足越来越多的灵活的接入需求。光载无线(Radio over Fiber,RoF)通信技术融合了光纤通信的带宽优势,同时兼顾了无线接入的灵活性,已经成为了当前通信技术的一个研究热点。然而随着无线业务的数量不断增加,尽管人们已经采用了频率利用率更高的调制格式,10GHz以下的低频段还是不可避免的出现了饱和。于是,工作在60GHz附近的毫米波RoF技术成为了重要的解决方案。但是,RoF通信系统在传输过程中,由于其信道的复杂性,会对信号引入大量失真,为了保证通信的质量,需要对其进行信道均衡的工作。本论文的主要研究成果包括以下两个方面:首先,完成了毫米波RoF通信系统及相关平台的设计和搭建工作。相关工作分为了两个部分。第一部分是设计并搭建了长距离强度调制-直接检测(IM-DD)传输系统。该系统传输了信息速率为2Gbps的OOK信号并经过75km的光纤传输。目的是初步分析所设计的均衡算法的均衡能力,并作为对RoF通信系统的参考。第二部分是设计并搭建了60GHz毫米波RoF通信平台。该平台采用了相位调制滤波法产生毫米波信号,有效降低了对光器件的要求。通过使用相位调制器对光载波和30GHz的微波信号进行调制,产生两条一阶边带,经过光梳滤波器滤去载波后,采用高频马赫-曾德尔强度调制器将5Gbps的OOK信号调制到两条边带上,经过10km光纤传输后通过光电二极管的拍频作用,产生60GHz的毫米波信号,并经过1.2m的无线信道传输后,通过示波器进行接收,采样等工作。实现了信息速度高达5Gbps的毫米波RoF通信。然后,根据搭建的毫米波RoF通信平台的相关特征,设计相应的信道均衡器,包括LMS均衡器、BP及其改进算法以及RBF神经网络均衡器。设计的BP神经网络均衡器隐含层的激活函数为S型函数,学习算法为梯度下降法。同时设计了一种步长值随着迭代变化的可变步长改进算法。设计的RBF神经网络均衡器隐含层节点的激活函数为逆多二次函数,使用k-means算法得到其聚类中心。实验结果表明,BP神经网络均衡器最大时可以降低RoF系统传输误码率两个量级,相比较于传统的LMS均衡器,其性能具有巨大的优势。同时可变步长BP算法的性能和稳定性相比较于其基础算法更加优秀。另外RBF均衡器的应用效果不佳,文中也给出了问题原因的一些猜想。