随着互联网的快速发展,人们对即时通信、搜索引擎、高清视频、网络直播等相关业务需求量的激增推动了光纤通信系统不断扩容,然而传统单模光纤通信系统的传输容量因受限于非线性效应而无法满足未来对通信容量与日俱增的要求。空分复用技术在波分复用、偏分复用、高级调制格式等技术的基础上可以进一步提升光纤传输容量。为了充分利用空间模式的多样性,研究如何在发射端激发并复用尽可能多的模式具有重要的现实意义,而硅光集成器件因其小尺寸、低损耗、低成本、稳定等优势被视为与光纤传输链路对接的极具潜力的方案之一。另一方面,片上全光信号处理技术也需要面向空分复用技术进行相应的升级改造以适用于数据中心的芯片互连等应用。本论文针对基于硅光集成器件的空分复用模式调控展开了研究,研究内容涉及适用于片上模式维度扩展的器件设计、适用于环芯光纤轨道角动量模式激发的器件设计与实验以及适用于模分复用系统全光逻辑操作的器件设计与实验。论文的主要研究成果如下:（1）设计了一种基于非对称波导的高阶模式转换器,分析了器件的模式杂化现象与偏振相关性,分别针对TM和TE偏振态研究了器件刻蚀参数对模式转换效率和器件长度的影响,并结合工艺容差分析给出了器件的参数选取指南。仿真结果表明可达到98%的模式转换效率。研究了绝热拉锥结构中的模式转换现象,并在前述器件的基础上设计了两模复用系统,模式消光比均在较宽波段内超过15dB,实现了片上模式维度的纵向扩展。（2）设计并制作了一种新型轨道角动量光束发射器,该器件结合角光栅微环谐振器和多模干涉耦合器,对特定波长可以产生4个阶数与偏振态互异的轨道角动量模式,充分利用了空间模式的多样性。提出了基于半解析法的微环设计方案,制作出的器件经过测试表明与设计预期相符。利用该器件成功激发了环芯光纤中对应的轨道角动量模式,且在大幅度扰动光纤的情况下光纤输出的模场仍然保持稳定。从理论上分析了该器件作为光子源时应满足的最佳耦合条件,并根据现有装置测试了系统损耗,表明在提高器件发射效率和减小系统损耗的条件下该器件有望应用于量子光学实验。（3）提出了适用于模分复用系统的全光逻辑操作。对多模非线性薛定谔方程进行了数值求解并建立了仿真模型,可用于研究多模信号在非线性介质中的传输演化过程。设计并制作了片上两模复用系统,通过改变多模波导尺寸调控模式的色散特性使其满足相位匹配条件,利用前述模型验证了模式选择性四波混频的可行性,并通过实验验证了适用于模分复用系统的双路逻辑操作,测试了系统的误码率,结果表明与单模操作相比两个模式同时进行逻辑操作时产生的额外功率代价分别为1.3dB和1.1dB。