针对日益增长的带宽需求,以无源光网络技术为主的光纤接入技术已经以多种形式在全球得到了广泛部署。而随着各种高带宽应用的不断普及,可以预见到下一代无源光网络技术将向着高速率、广覆盖(长距离、大分支比)的方向发展。但是随着传输速率的提高,传输距离的延长,基于强度调制的光信号在长距离传输过程中受到的色散影响加剧,导致接收信号产生误码,劣化系统性能。所以为了满足未来光接入网的需求,一方面需要对现在市场占主导地位的TDM-PON系统的关键技术进行改进和创新,研究适用于下一代TDM-PON的新技术；另一方面,需要进一步研究其它多址接入方式的无源光网络,例如对具备高频谱利用率、抗色散、动态带宽调度灵活等一系列优点的OFDM-PON的研究。因此,下一代无源光网络(NG-PON)关键技术的研究成为了光通信领域的研究热点之一。本文从调制码型、色散补偿以及动态带宽分配三个角度对NG-PON的关键技术进行了研究,论文主要内容包括：一、对NG-PON新型调制码型研究现状进行了分析,然后理论分析和仿真研究基于FSK调制的10Gb/s TDM-PON系统性能,探讨了FSK调制码型在NG-PON系统中的可行性。二、针对下一代光接入网高速率、广覆盖、低成本的要求,提出了一种适用于10Gb/s TDM-PON系统的低成本低开销的色散补偿方案,以解决传输距离色散受限问题,并对所设计方案进行了仿真验证。仿真结果表明色散补偿后信号的传输距离能够提高到60km以上,从而满足下一代光接入网长距离传输的需求。三、重点研究了40Gb/s OFDM-PON系统上行带宽动态分配问题,分析了40Gb/s OFDM-PON系统带宽调度的需求,调研归纳了已经提出的OFDM-PON系统带宽调度方法的优缺点,然后针对OFDM-PON系统的应用场景,提出了一种静态指配和动态调度相结合带宽分配机制。