随着下一代移动通信网络的研究与部署,各种新颖的无线多媒体业务不断涌现,用户对无线通信系统传输速率和容量的需求在不断增加。带内全双工(IBFD)技术可以支持收发端进行无线信号的同时同频传输,相比于目前广泛使用的频分双工(FDD)和时分双工(TDD)可以倍增频谱效率,实现高密度和高效率的网络接入。带内自干扰消除是实现IBFD通信的关键技术。目前主要的自干扰消除技术可以分为电学自干扰消除和光学自干扰消除技术。相比于电学方案,光学自干扰消除技术可以实现高精度的衰减和延时匹配,可以突破电学方案的带宽和工作频段限制,满足IBFD无线通信系统大容量长距离传输的要求。本论文主要对基于直接调制器(DML)和基于双驱动马赫增德尔调制器(DDMZM)的光学自干扰消除技术进行理论建模和实验验证。在理论建模中,首先对消除带宽进行分析,推导得到延时偏差是影响消除带宽的关键因素,并定量证明了光学方案相比于电学方案的带宽优势。其次对消除深度进行分析,得到影响窄带消除的重要因素是衰减和时延偏差,而影响宽带消除的主要因素是频率选择性幅度和相位失配。研究表明该模型可以适用于大部分典型的线性调制解调的光学自干扰消除系统。在基于DML的自干扰消除实验验证中,采用对数周期天线进行无线信号的收发,在无线频带内理论预测和实际的消除效果可以很好地符合,证明了所提出的理论模型的准确性。实验结果显示了光学自干扰消除系统的宽带抑制效果,900MHz附近450MHz带宽内可以取得22dB的消除深度,2.4GHz附近440MHz带宽内可以取得25dB的消除深度。另一方面,在基于DDMZM的自干扰消除实验研究中,使用Optisystem和Matlab软件搭建仿真系统进行实验,证明了基于DDMZM的带内全双工光载无线系统的可行性和较好的传输性能。最后本文将光学自干扰消除系统的大带宽优势引入全双工MIMO(Multiple-Input Multiple-Output),提出了应用于2×2 MIMO带内全双工系统的基于DML和基于DDMZM的光学自干扰消除系统,并在仿真实验中验证了该方案的可行性。