随着通信技术的发展,人们对未来5G通信速率的要求越来越高,为了满足5G通信速率的要求,未来的5G通信将采用小蜂窝或微蜂窝的组网方式,形成支持多标准、多制式、多频带共存的异构网络。采用小蜂窝或微蜂窝组网的方式将使得远端RRU数量激增,为了降低远端的复杂度与成本,ROF技术被提出用于5G通信。ROF系统由ROF链路和功放组成,同其他电子器件一样,ROF系统也遭受着非线性的问题,因此,解决ROF系统中的非线性问题是很有必要的。以前的文献大多将ROF链路和功放的非线性问题分开进行研究,很少有将ROF链路和功放作为一个整体进行研究,本文将ROF链路和功放作为ROF系统整体对其单波段和双波段传输的非线性问题进行了研究。对于单波段ROF系统的非线性问题,本文提出一种简化的广义记忆多项式模型。首先本文选择了已有的非线性多项式模型对ROF系统进行建模,结果显示广义多项式精度最高;其次对比其他模型分析得出对模型精度贡献比较大的项,通过去除对模型精度贡献小的项,得到简化后的模型。在强非线性下和模型精度相近的情况下,简化后的模型系数相对于广义多项式模型系数减少50%,相对于增强型广义分数阶模型系数减少25%。线性化结果显示提出的模型对邻信道功率比抑制效果更好。对于双波段ROF系统中三阶互调抑制的问题,本文基于双波段窄带模型提出了用于增强三阶互调抑制的预失真结构,改进了预注入技术,并归纳总结出了新的三阶互调模型。未改进前的预注入技术需要知道系统的特性,从而根据系统特性来生成三阶互调信号的抑制信号,否则抑制效果较差。本文改进后的预注入技术通过分区采集ROF系统的输出信号,降低了信号所需的采样带宽,并通过三阶互调信号求出系数来代替系统特性,增强了预注入技术的应用范围。仿真结果显示,采用改进后的预注入技术和新的三阶互调模型明显增强了双波段窄带模型对三阶互调的抑制。