随着IT行业的高速发展,云计算、虚拟化、高清视频、电子商务、社交网络以及飞速发展高速无线网络等等各种新兴业务的不断涌现,都给基础网络带来了巨大的机会和挑战。波分复用无源光网络(WOM-PON)作为新型光接入网方案,能够满足高速增长的带宽需求并能兼容其他光接入技术。有数据表明,10G端口的增长速度已远远高于低速端口的增长速度,在接入和客户端设备上10G端口的应用正越来越多。但是传输速率的增长,带来传输设备成本的增长,不仅包括了技术成本,还包括功耗成本等,大大限制了10G甚至更高速传输设备的实际使用。无载波相位幅度调制格式(CAP)作为一种新型光接入网调制格式,与传统的正交幅度调制(QAM)相类似,但由于其具有成本低廉、功耗低等特点,逐渐成为光接入网络中信号调制的备选方案。机器学习是近年来最火热的研究方向,在各个领域都有所应用,支持向量机(SVM)作为优秀的分类算法,对信号接收能起到特殊效果,在信号解调和分析中,具有广阔的应用和前景。利用实验室接入网实验平台以及Altera公司QuartusⅡ开发环境、VPI、Modelsim和Matlab等仿真软件,论文研究了WDM-PON系统中的物理层结构和CAP调制解调技术。论文展开了以下工作：1.阐述了WDM-PON的发展现状及关键技术,比较分析了10G速率以太网物理层结构,参与提出了基于RSOA的多波长10G-EPON实验系统方案。2.设计了10Gb/s速率的物理层结构解决方案,设计了多波长10G-EPON物理编码子层(PCS)发送和接收两端的框架结构,使用可编程门阵列(FPGA)实现并完成了功能仿真和时序验证。3.设计了光接入网中使用无载波相位幅度(CAP)调制的传输方案,实现了其中的CAP调制／解调功能,并进行了仿真分析和实验测试,实验表明CAP系统可以满足10G接入网设备的传输要求。4.针对CAP调制格式所存在相位旋转问题的问题,结合机器学习支持向量机(SVM)算法,使用复杂度更低的M-ary SVM算法解决,并且拓展到多级多带的CAP传输系统,以及更加复杂的OFDM-CAP传输系统中进行仿真分析。