随着5G通信、云计算、数据中心迅猛发展，基于SOI平台片上光互连作为一种更有前途和吸引力的技术用来缓解通信瓶颈、满足日益增长通信容量的需求，并且由于其大传输容量、高集成度和低功耗的特性而受到了广泛的关注。硅基集成模分复用技术使我们能够利用单载波多个空间模式为独立的信道来传输数据信息，为解决单一波分复用带宽不足的严峻问题提供了新的极具吸引力和有效解决方案。然而，传统的波导硅多模器件尺寸较大，严重限制了单片高密度集成模分复用系统的发展。另一方面，近年来逆设计方法由于可以在亚波长尺度上灵活地折射率剪裁和超强的光场操纵能力引起了极大的关注，它可以用来实现超小型、高性能、多功能的片上集成光子器件。
　　然而在理论研究和实际应用层面，光子器件逆向设计方法仍面临两个基础的关键挑战亟待突破。在理论研究和优化方法上，当前逆向设计方法由于缺乏清晰的理论模型，逆向设计的初始图案、区域大小、特征尺寸选择具有盲目性，优化过程随机盲目，优化效率低下。另一方面，在工艺制备中，当前逆向设计器件结构形状极为形状随机，刻蚀过程中存在严重的迟滞效应，工艺可制造性差，是集成光子器件逆向设计迈向应用的巨大障碍。本论文聚焦围绕着逆向设计共性科学问题和亚波长模式复用光子器件开展一系列研究并取得了巨大研究进展。主要研究内容如下：
　　(1)本论文提出并建立了一套硅基亚波长光子集成器件逆向设计的物理模型、高效优化方法及工艺制备的研究体系。首先，建立了集成光子器件的亚波长等效理论模型，提出了基于亚波长等效模型的集成光子器件逆向设计的新机制，采用光子学理论预测逆向设计器件的高性能初始图案和极小化拓扑结构，完成了光子学理论辅助数值优化的逆向设计新算法，通过克服常规逆向设计优化算法的盲目性，实现了超小型、高性能集成光子器件的高效率逆向设计；其次，在工艺制备上，本论文提出并采用“类光子晶体”的数字型亚波长结构，从机理层面抑制了“自由形态”亚波长结构迟滞效应带来的随机工艺误差的影响，克服了逆向设计的复杂结构集成光子器件的制备工艺瓶颈，为超小型、高性能的逆向设计集成光子器件的工程应用奠定基础。在这个研究体系下，本论文设计并实现了一系列超小型、超高性能、工艺制备鲁棒性的硅基集成亚波长模式复用光子器件。
　　(2)提出并实验制备了超小型基于亚波长非对称Y分支的逆向设计的硅基集成模式复用器。首先建立了等效理论模型，突破尺寸受限，利用理论辅助的逆向设计方法，并引入人为预设初值，来减少逆向设计的随机性，提高设计效率和器件性能。然后利用在亚波长尺度超强的光场相位调控能力，实现了超大分支角的亚波长Y分支新结构，极大地减小了器件尺寸。本论文分别在2.4μm×3μm和3.6μm×4.8μm尺寸内实现了硅基亚波非对称Y分支双模复用器和三模式复用器，其相比传统波导模式复用器均缩小了两个数量级，在超大规模超高集成度的片上模式复用系统有极大潜在应用价值。
　　(3)提出并实验制备了基于“零色散”亚波长MMI的逆向设计的硅基集成双模波导交叉连接器。首先，建立了基于数字式亚波长MMI的等效物理模型，突破色散导致尺寸受限，然后利用理论辅助的逆设计方法，根据亚波长MMI等效模型预先设定尺寸大小和初始图案等，采用人为预设初值来减少逆向设计的随机性，提高了设计效率和器件性能。所制造硅基亚波长双模式交叉连接器的插损小于0.6dB,串扰低于?30dB，尺寸仅为4.8×4.8μm2，相比传统波导模式复用器均缩小了两个数量级。
　　(4)提出了并实验制备了三种光传输链路的硅基集成亚波长多模光子器件：偏振旋转器、双模功率分配器和多模弯曲波导。提出并实验制备了一种超小尺寸超高消光比单步刻蚀的亚波长非对称波导逆向设计的偏振旋转器，其器件尺寸1.2μm×7.2μm，在1530nm到1590nm波长范围内的测量插损小于0.7dB,偏振消光比大于19dB；提出并实验制备一种基于轴对称三分支波导的宽带双模3dB功分器，其器件尺寸仅为2.88μm×2.88μm；同样提出并实验制备了一种基于亚波长非对称Y分支多模弯曲波导，分别在3.6μm×3.6μm和4.32μm×4.32μm尺寸内实现了双模弯曲波导和三模弯曲波导。所提出的逆向设计方法使亚波长光子器件的尺寸比传统器件减少了两个数量级，将在优化设计下一代集成光子器件中具有广阔的应用前景和研究价值。