硅光子集成平台具有体积小、易于集成、价格便宜等独特优势和大带宽、超高速和低能耗的光子通信特性,在光通信和互连系统中有了广泛的研究和应用。目前常用硅光调制器和探测器的工作带宽提升速度已经远远不能满足快速增长的数据流量需求,片上复用技术是提升单通道通信容量的常用方法。作为复用系统的核心功能性器件,单个复用和解复用器件的带宽、损耗和串扰等参数不能成为限制整个复用系统性能的瓶颈,同时其器件尺寸需要越小越好,以提高系统的集成度。因此,更高性能（大带宽、低损耗和低串扰）和更小尺寸是片上复用器件的一个重要研究方向。近年来,逆向设计方法为硅基光子集成器件的研究提供了全新的设计思路。逆向设计会搜索具有任意形状的整个设计空间,极大地扩展了器件的设计参数自由度,并能够在纳米级上操纵光场,显示出同时实现小尺寸和高性能器件的巨大潜力。为此,本论文主要针对于片上波长、模式、偏振复用器件的集成度、串扰、损耗等问题,提出了一种基于逆向设计方法的数字型超构波导结构,实现了片上复用系统中的几种关键硅基光子器件的小型化和高性能研究。本论文的主要研究内容及结论如下:针对常规硅波导器件的设计自由度受限问题,提出了一种基于逆向设计的数字型超构波导结构。首先根据光波导的理论基础,建立波导模式分析模型,分析和总结光波导模式和光场传输随波导结构的变化规律。之后基于光波导研究结果建立和完善数字型超构波导结构模型,通过理论与数值模拟相结合,探索高度复杂无序数字型光波导结构的光场调控规律,并重点分析数字型超构波导结构对光场的强度、相位、偏振等维度的调控,为高集成度和高性能硅基光子器件的设计提供了理论指导。在这个研究体系下,本论文设计并实现了一系列超小型、超高性能的基于数字型超构波导结构的硅基复用器件。在波长复用方面,基于大相位梯度和高色散的数字型超构透镜实现了超小型的粗波长解复用器和密集波分复用器。数字型超构波导结构具有精准控制光场强度和相位分布能力,通过逆向设计对数字单元结构进行定向优化可以实现任意相位梯度的片上超构透镜。设计并实现了具有大相位梯度（5.7πrad/μm）的高色散数字型超构透镜,透镜厚度仅有波长尺度（～1.55μm）,宽度仅为25.4μm,焦距为19.5μm,允许通过透镜的光束发生45°转向并聚焦,该结构可实现波长解复用功能。通过多个超构透镜折叠分布使得光束在小尺寸内实现连续转弯,可以累积色散效果,实现更有效的波长区分。之后通过优化设计双层折叠超构透镜分布实现了面积仅为48×24μm~2的8通道粗波长解复用器件,进一步实现了基于五层折叠超构透镜的32通道密集波长解复用器,波长通道间隔1 nm,尺寸仅为100×100μm~2。在模式复用方面,针对片上模分复用器件和光子回路的集成度、损耗、模间串扰等问题,基于逆向设计方法实现了数字型超构波导结的多模弯曲波导、交叉波导和模式复用器等关键多模调控器件,器件能同时支持TE0、TE1和TE2模式,在80 nm带宽范围内的插入损耗小于1 d B,模间串扰低于-20 d B,器件尺寸仅为数微米,比传统器件缩小了一个数量级。接着基于多种小型化和高性能多模调控器件演示了可任意布线的密集集成模分复用光子回路,并实验证明了对于两组任意设计的模分复用光子回路均实现了三模式复用的高速信号（3×112 Gbit/s）的传输。此外仿真研究和分析了数字型超构波导结构的工艺误差容忍度和与硅光流片工艺的兼容性,增强了器件可制备性。在偏振复用方面,主要针对器件尺寸、带宽、双偏振和混合复用等特性进行优化设计。偏振分束旋转器是实现片上偏振复用系统的关键部件之一,基于数字型超构波导结构提出了一种长度仅为7.92μm的偏振分束旋转器,该器件在超过100 nm的大带宽范围内表现出良好的性能,并且对于孔尺寸变化具有±10 nm的制备公差,并演示了一个基于偏振不敏感交叉波导的超紧凑的偏振复用系统,该研究进一步揭示了利用数字型超构波导结构进行光波精细调控的强大能力。由于偏振分束旋转器仅利用了两个基础的正交偏振态,只能够将系统容量扩展一倍,进一步设计并实验表征了超小型的双偏振多模式的模式复用器和功率分束器以提升可调控的模式通道数,器件面积仅为6.8×6μm~2和6×5.25μm~2,并演示了一个双偏振四通道的混合复用光子回路,该设备具有非常紧凑的集成尺寸,能够同时实现混合偏振和模式复用。这种超小尺寸和高性能器件有助于提高光子集成回路中偏振和模式复用系统的集成密度。