未来通信技术的发展主要需要解决无线通信业务量爆炸式增长与频谱资源短缺之间的外在矛盾，其驱动着无线通信理论与技术的内在变革。由于无线频谱资源的稀缺特性，逐渐地成为了无线通信技术发展的瓶颈。同时同频全双工通信（本文中简称“全双工通信”）技术由于提高了无线通信系统频谱资源的利用率，已成为学界和工业界共同关心的一个重要问题。　　自干扰信号能否被消除成为能否实现无线全双工通信的关键。自干扰信号消除方案主要为空域的被动消除方案，模拟域的主动消除方案和数字域的数字消除方案。其中，现有的多天线被动消除方案对发送天线和接收天线的隔离度要求较高，这限制了设备的尺寸;现有的数字消除方案在高发送功率下性能会严重下降，这限制了全双工通信的距离和发送功率;且现有的方案都各自独立，没有充分利用自干扰信道的状态信息。双向中继信道作为典型的通信拓扑结构已得到了广泛的研究。现有的研究多集中在全双工中继的情况，即只有中继节点工作在全双工模式，而终端节点工作在半双工模式。　　本论文在国家自然科学基金重点项目、国家自然科学基金面上项目和国家科技重大专项课题的支持下，从新的自干扰信号消除机制，低复杂度全双工通信系统构建及全双工的双向中继信道信息交换机制三个方面研究了全双工通信系统中自干扰信号处理的关键技术。　　本论文的主要工作及创新点包括:　　(1)针对现有的多天线的全双工通信系统中，被动消除方案在收发天线隔离度上的局限性，提出了一种基于多径反射的被动消除方法。推导了该方法下接收信号功率在平面空间的表达式，并给出了寻找接收天线最佳位置的方法。该方法仅利用两根天线及一块外置反射板进行被动消除，并对两根天线之间的物理距离在理论上没有严格要求，突破了终端的物理尺寸限制。　　(2)针对现有的全双工通信系统中的线性数字消除方法的局限性，提出了一种基于牛顿法的非线性数字消除方法。本论文首先针对实验设备中的典型的自干扰通信链路进行数学建模，纳入了功放引入的非线性噪声，模数转换中的量化噪声，相位噪声及多径效应模型。其次探讨了自干扰信号非线性建模的最佳多项式形式。最终实验结果表明，所提出的非线性数字消除方法很好地解决了以往数字消除方法在大发送功率时性能下降的问题。　　(3)针对现有的自干扰信号消除方法在不同域内互相独立的方案的局限性，提出了一种利用自干扰信道的状态信息的联合被动消除和数字消除的机制。由于被动消除方法的引入会改变自干扰信道的状态信息，本机制利用该状态信息，作为依据，以调整数字消除部分的滤波器阶数，平衡数字消除方法的性能和计算复杂度。　　(4)利用无线开放可编程研究平台，设计了一套低复杂度的全双工通信系统。该通信系统可以仅依靠被动消除和数字消除方案，进行全双工通信。本论文完成了该系统的同步方案，数字消除方案，帧格式设计方案，相位噪声消除方案。并在相同环境下，同半双工通信系统进行了分析对比。实验结果表明该系统在一定的发送功率和通信距离下的系统表现优于半双工通信系统。　　(5)针对目前双向中继信道下节点工作在半双工状态下的局限性，提出了终端节点和中继节点皆工作在全双工状态下的两种信息交换机制:解码转发机制和放大转发机制。讨论了全双工技术的引入给该模型带来的系统吞吐量增益，并考虑了对称信道和非对阵信道下两种情况。仿真结果表明所提出的两种机制在一定的信噪比条件和交换比特的条件下，优于已有的双向中继信道下的信息交换机制。