随着通信技术和互联网各项业务迅速发展,宽带接入对带宽的需求和网络的服务性能提出了更高的要求。光接入网作为信息网络基础设施已逐渐成为发展宽带接入的长远解决方案。无源光网络(PON)以其宽带化、综合化的接入特征得到了国内外广泛关注和普遍重视,针对新型无源光接入网展开研究具有重要的现实意义。下一代无源光网络需要满足大容量、高带宽、多业务、灵活性、长距离等需求,但是由于相关技术和器件水平的发展仍然不够成熟,所以它的解决方案一直存在着许多的争议。为了突破现有的技术瓶颈并保证能够找到理想的实现方案,有必要对下一代无源光网络关键技术进行研究并提出具体的解决办法。本文的研究内容由国家自然科学基金“智能化光接入网关键技术研究”支持。本论文主要针对不同的新型无源光网络系统结构和实现方案,研究了下一代新型无源光接入网中的关键技术。本论文研究工作的主要内容与成果如下：1.研究分析了OCDMA/WDM混合无源光网络的系统架构,并且围绕其关键技术OCDMA编解码器,提出了一种基于Chebyshev映射混沌扩频的OCDMA编解码器新系统方案。实验结果分析表明该方案不仅进一步扩充了系统的用户接入容量,还增强了系统的保密安全性,系统具有良好的性能。2.研究了可以提高频谱利用率的正交波分复用技术,提出了正交波分复用无源光网络的新系统方案,分析了系统中超连续谱光源和光纤光栅等关键技术。系统模型实验仿真表明在保证频谱正交交叠时且信道串扰最小的条件下,系统能够有效地提高频谱效率,从而确保在相同的光纤带宽中可以接入更多的用户。3.分析了基于OFDM的无源光网络系统基本结构,并对光通信系统中的OFDM技术进行了研究,通过与其它无源光网络方案比较概括了OFDMA-PON具有的优势,并且提出了离线处理实验系统架构。通过实验结果分析表明系统能够在灵活处理带宽资源和改进带宽效率的同时还具有较好的性能。4.研究了WDM-PON中光源方案和无色ONU技术,提出了两种改善基于频谱分割技术的WDM-PON系统性能的方案,分析了方案中的多种实现方式。实验仿真验证了在不同情况下各种方案的可行性,而且经过分析比较可以看出对系统性能的改善较为明显。