随着光电子集成芯片的应用逐渐从长距离相干光收发、短距离数据通信等场景延伸到量子信息、光计算等新兴应用领域,片上光学信息处理系统展现出大通量、高并行等明显优势。片上光学系统日益复杂化、功能日益多元化,使得光子元器件的集成规模呈指数增长,目前已经突破单片一万个光子元器件。因此,片上光波导的信息处理能力面临数据容量和高密度布线两方面的挑战,亟需发展多路复用技术。作为一种新型的多路复用光处理技术,片上模分复用技术将不同的模式作为不同的信息传输通道,并可在同一多模波导中同时处理多个模式,为片上光学信息处理系统的性能提升提供了一种解决方案。对于绝缘体上硅（Silicon-on-Insulator,SOI）平台,硅波导存在一个跨越近红外和中红外波段的透明窗口。并且,由于硅和二氧化硅具有较大的折射率差,硅波导在支持多个模式的同时能保持结构紧凑。因此,硅基模分复用光学系统得到了研究人员的重视,各类关键的多模光波导器件也已经被广泛研究。本论文通过结合逆向设计算法,实现了三种具有低损耗、低串扰、高集成度的硅基多模光波导器件,分别为多模弯曲波导、多模模斑尺寸转换器和多模分束器。针对多模弯曲波导,我们采用拓扑优化算法对弯曲波导的形状进行优化设计。首先给出了拓扑优化算法针对硅光器件的设计流程,分析不同半径的多模弯曲波导的传输情况,并完成可支持四个TE模式的超小半径弯曲波导的拓扑优化。仿真结果表明,器件在1520 nm至1580 nm的波长范围内插入损耗不超过0.80 d B,模间串扰不超过–15.5 d B。针对多模模斑尺寸转换器,我们提出一种具备消色差特性的超构透镜来实现模斑尺寸转换。首先阐释粒子群算法的基本原理及其优化过程,分析不同长度的锥形波导的光传输情况,研究不同周期的超构透镜的色差特性,构建了消色差超构透镜,并实现可支持两个TE模式的超宽带模斑尺寸转换器。仿真结果表明,在1550 nm至2150 nm的超大波长范围内,器件的插入损耗不超过1.25d B,模式纯度高于92%。针对多模任意比例分束器,我们采用半反半透镜结构和T型波导,同时实现了多模式和任意比例分光。首先分析了波导宽度、古斯汉欣位移和阵列的周期、填充比等参数对器件性能的影响,再通过半导体工艺完成双模式40:60,30:70和20:80分束器的制备。测试结果表明,器件功能与设计相符合,在1540nm至1580 nm的波长范围内,三个不同比例的分束器的插入损耗不超过0.92d B,模间串扰不超过–14.42 d B,分光比偏移在0.96 d B之内。最后,我们总结了本论文的主要工作,并对多模光波导器件未来的研究进行展望。