在光纤通信领域,人们不断追求更高的传输速率和更大容量。具有高频谱利用率的新型调制格式被认为是突破现有光纤通信网络带宽限制,实现传输容量扩展的一种经济而有效的关键技术。目前,一些新型调制格式被提出应用于下一代高速光通信系统中信号调制技术。研究表明,新型调制格式的高频谱效率和在传输中表现出的良好性能是以增大系统发射机和接收机复杂度和成本为代价的。在这篇论文中,我们报道了平板波导器件实现信号解调方案,降低了接收机复杂度。方案继承波导器件在结构紧凑、低插入损耗、高带宽、偏振特性不敏感、高制作容限以及易与其他器件集成的优良特性。本论文从事的新型调制格式的传输特点和解调方案相关工作如下:(1)研究了一些新型调制格式的传输系统结构,包括多级差分相移键控调制(M-DPSK)、多级幅度差分相移键控调制(M-DPASK)和多级偏振差分相移键控调制(M-DPolPSK)信号。基于Opti-system仿真软件,研究了几种差分相移键控调制信号在传输系统中的信噪比要求、色散容限和非线性容限特性。(2)我们报道了一种基于4×4多模干涉耦合器(MMI)的简单DQPSK信号解调器。该方案核心思想在于利用4×4MMI器件输入和输出端口之间的相移特性实现DQPSK信号解调。给出了关键器件多模干涉耦合器的传输矩阵和此种方案具体解调过程,同时给出了在Opti-system中完成该方案的仿真结果。(3)我们提出了一种实现多种多级差分相移键控调制信号的新颖的解调方案。此方案由双光束空间干涉特性提出,利用空间干涉作用将变化的差分相位信息分配到不同空间位置。我们从干涉加强峰值点的空间位置得到差分相位信息,从而实现M-DPSK信号解调。