无源光网络(Passive Optical Network,PON)作为一种终端接入技术,是低成本解决宽带光接入问题的最佳方案之一。然而,目前已经大量铺设的PON系统由于其上下行接入带宽较低,难以满足宽带业务长期发展需求。在此背景下,下一代PON(Next Generation Passive Optical Network,NG-PON)系统需要在功能和性能等方面得到进一步升级。近年来,基于低成本光电器件的高速率NG-PON系统是当前国内外学术界和工业界关注的重点。在这些系统中,光电器件带宽限制及光纤累积色散产生的码间串扰将严重影响系统性能,进而影响了PON系统的接入能力。为此,如何提升低成本、高速率NG-PON系统的性能也成为了当前NG-PON研究的热点之一。在众多方案中,基于数字信号处理的均衡方案以补偿码间串扰的影响被认为是解决上述问题的有效措施之一。为此,本文主要研究了低成本、高速率NG-PON系统中的新型高效均衡方案。首先,本论文对低成本高速率NG-PON系统的特性进行了分析和系统建模;在此基础上,提出了基于特征构建以及特征工程方案的改进型机器学习均衡算法;然后,对提出的新型算法进行了理论推导;最后,通过搭建了基于10G低成本收发机的高速率传输实验,用于进一步验证所提出的几种算法的有效性。本文主要包括以下几个部分内容:(1)介绍了NG-PON的研究意义及在其高速率低成本系统中的信道均衡研究背景、基本原理和部分关键技术;分析和总结了国内外研究现状及优缺点。(2)对低成本高速率NG-PON系统的信道特性进行了建模,提出适合该信道的特征构建方案;在此基础上,提出了用于低成本高速率NG-PON系统的基于特征构建的改进型支持向量机(support vector machine,SVM)算法;通过理论推导进一步验证了该方案在低成本高速率NG-PON系统中的线性可分性,在实现性能大幅提升的同时降低了计算和实现复杂度;算法的可行性通过单波长速率25-Gb/s的NRZ和50-Gb/s的PAM-4的NG-PON传输实验中进行了验证。(3)为了解决传统SVM方案需要组合多个分类器实现高阶调制信号均衡任务所带来的复杂度问题,在上一章所提出的特征构建方案基础上,提出了用于高阶调制NG-PON系统的只需唯一SVM以实现多分类均衡任务的新颖方案,在性能几乎没有损失的情况下降低了SVM在高阶调制系统中的复杂度。该方案在基于50-Gb/s每波长的PAM-4信号NG-PON实验系统中进行了验证。(4)针对K近邻(k-nearest neighbor,KNN)算法在低调制带宽NG-PON系统性能有限的问题,提出了基于特征工程的改进型KNN算法;所提出的特征工程方案结合了高速低成本NG-PON系统与KNN算法的特点,将原始接收数据转换为更适合系统和算法特性的数据,从而显著提升了KNN算法在NG-PON系统中的性能。该方案的可行性在基于25-Gb/s的NRZ和50-Gb/s的PAM-4每波长的NG-PON系统实验中得到了验证。