近年来,物联网、虚拟现实/增强现实、云计算和大数据等应用的不断涌现使得全球IP（Internet Protocol）流量呈现爆炸式的连续增长,因此,作为信息基础设施的数据中心（Data-centers）面临着信息传输速率持续增长的巨大压力。在面向数据中心内的短距光互连系统中,传统的基于NRZ（Non Return to Zero）调制的系统已经不能满足信息传输的需求,基于PAM-4（4-level pulse amplitude modulation）调制的VCSEL（Vertical-cavity surface-emitting laser）-MMF（Multi-mode fiber）直调直检（Intensity modulation and direct detection）系统成为一个具有前景的解决方案。但是随着信息速率的提高,系统中固有的非线性效应成为影响传输性能的主要因素,传统的线性均衡方案已经无法提供足够的性能增益,亟需强大的非线性均衡器的引入。同时,由于成本功耗是VCSEL-MMF系统重要的考虑因素,非线性均衡的巨大计算复杂度严重阻碍了其实际部署,因此必须对非线性均衡器的计算复杂度进行最大程度的压缩。根据以上出发点,本文提出的方案和主要结论如下:（1）提出了基于Volterra多项式的Volterra非线性均衡（Volterra polynomial based nonlinear equalization,VE）方案。分析了三阶VE记忆长度分布对均衡性能的影响。针对VE网络复杂且计算复杂度高的问题,提出了基于门限剪枝和重训练的TRVE（Threshold based pruned retraining Volterra equalization）算法。通过100 Gbps PAM-4高速传输实验,验证了VE的非线性均衡效率,并且分析了VE各阶记忆长度分布对VE性能的影响。基于TRVE,大尺度降低了相同BER（Bit error ratio）门限下VE的计算复杂度,最高降低比例达70.7%。针对TRVE算法需要手动调节各阶门限值来选取最优门限组合以致产生大量工程消耗的问题,提出了使用L1正则化（L1-regularization）辅助剪枝算法L1-TRVE,大大减少了剪枝算法的实现难度,同时维持了和TRVE基本一致的网络系数剪枝比例。（2）提出了神经网络非线性均衡（Neural network based nonlinear equalization,NNE）方案,并且论证了多个NNE参数对均衡性能的影响。分析了NNE可能产生的过估计问题,提出了接收信号随机化的解决方案并验证了该方案的有效性。针对单次剪枝算法存在的剪枝不充分和误剪枝问题,提出了迭代剪枝算法,通过更小的剪枝门限和多次剪枝,最大程度剔除冗余连接。通过迭代剪枝算法,112 Gbps PAM-4/8传输情况下的平均剪枝率分别为58%和63%,剪枝率最高达71%。与单次剪枝相比,迭代剪枝算法最大分别提高了28.4%和20.9%的剪枝率。最后对VE和NNE的均衡效率和剪枝网络的稳定性进行了对比,实验证明NNE比VE具有更好的均衡性能而pruned-VE比pruned-NNE更能适应信道的变化。