自干扰消除技术的进步推动了带内全双工通信技术的发展。全双工技术允许通信设备同时同频收发信号,颠覆了传统的频谱接入方式,有望缓解爆炸式增长的无线流量与日益紧张的频谱资源之间的矛盾。将全双工技术引入协作通信系统,能够提高协作通信系统的频谱效率、减小传输时延,并解决隐藏终端和传输安全性等问题。但是,全双工通信方式造成的自干扰和节点间干扰会降低协作通信系统的传输可靠性。本文在非理想自干扰消除背景下,围绕全双工协作通信系统的传输可靠性展开分析,通过资源分配等优化系统性能,主要工作和贡献包括:(1)针对两个全双工信源节点和一个半双工信宿节点组成的协作通信系统,研究和分析分布式Alamouti空时编码的差错性能。依据Alamouti空时编码设计了一种分布式两阶段放大转发(AF)传输协议,信宿节点采用极大似然解码,导出了系统成对差错概率,并通过变换和松弛获得其在高发射功率区间的紧致上界。理论分析指出,理想残留自干扰条件下的全双工分布式Alamouti空时编码能获得满分集,增强自干扰消除能力能提高编码增益并强化分集增益的可达条件。仿真结果表明,在相同频谱效率约束下,全双工协作的差错概率远低于半双工协作。基于机会编码设计了一种解码转发(DF)传输协议,导出了系统联合中断概率并分析其分集-复用折中性能。与AF传输协议类似,基于DF传输协议的全双工协作通信系统能取得满分集增益和满复用增益。为了进一步改善系统的联合中断概率性能,提出了一种次优功率分配算法。仿真结果验证了理论分析的正确性和功率分配算法的可行性。(2)针对一对半双工信源节点和信宿节点与两个辅助型全双工中继节点构成的协作通信系统,提出一种新的分布式空时网格编码方案。鉴于两个全双工中继节点同时工作会导致中继间干扰,将中继间干扰视为信息交换,并利用AF协议构造分布式空时编码,即“自然编码”。由于信源信息被中继节点多次转发,信宿节点处的等效干扰和噪声呈现时间上的非平稳性和相关性,且同一信源符号经历的多条端到端等效信道间存在耦合,采用最差干噪近似对系统差错概率松弛,并利用联合动差生成函数表征中继节点与信宿节点之间信道的独立性,导出了系统成对差错概率上界。理论分析指出,当残留自干扰功率不随发射功率变化时,“自然编码”是一种满分集恒可达的全速率分布式空时编码,提高自干扰抑制度、增加信源发送信息帧长和合理的功率分配能够改善“自然编码”的编码增益。仿真结果表明,基于“自然编码”的全双工两中继协作通信系统的差错概率优于半双工两中继协作通信系统。(3)针对三节点全双工双向中继协作通信系统,在中继节点自干扰消除能力强于用户节点条件下研究和分析其差错性能。与半双工双向中继系统不同,全双工用户节点之间存在直连信道,支持非正交传输以实现协作分集。由于中继节点存在处理延迟,直连信道与中继信道的期望信号互相干扰,用户节点需进行多符号联合解码。此外,中继节点的协作方式随用户节点发送符号数的增加而变化。将延迟叠加的期望信号等效为分布式截断线性Toeplitz空时编码的特殊形式,采用部分分式分解和主项平衡法导出了成对差错概率在不同中继协作方式下的渐进表达式。理论分析指出,分布式截断线性Toeplitz空时编码的差错性能仅与用户节点自干扰消除能力有关,且能够渐进获得满分集增益。针对非正交传输方式导致特殊条件下分集增益不可达的缺陷,提出一种满分集预编码方案。仿真结果表明,相比于半双工双向中继系统,充分抑制自干扰和采用满分集预编码的全双工双向中继系统具有明显的差错性能优势。(4)针对全双工协作D2D(Device-to-Device)通信系统,分析其差错性能并研究功率分配方案。考虑单小区网络场景,一对半双工D2D用户由于路径损耗或障碍物遮挡无法直接通信,一个全双工蜂窝用户在进行上行通信的同时辅助D2D信息传输。D2D用户基于underlay方式复用蜂窝上行信道,蜂窝用户采用非正交多址接入(Non-Orthogonal Multiple Access,NOMA)支持蜂窝上行通信和D2D通信并发:蜂窝用户采用叠加编码广播蜂窝上行数据和D2D数据,而D2D接收采用连续干扰消除进行迭代解码。基于传输协议设计和信干噪比分析,给出了系统的可达速率域,并研究可达速率域帕累托边界的最优功率分配方案。采用中断概率衡量传输可靠性,导出了蜂窝上行链路和协作D2D链路的联合中断概率,并分析其在高传输功率下的渐进特征。以性能分析为基础,进一步研究最优功率分配策略。由于蜂窝上行链路和协作D2D链路的可达速率无法同时最大化,研究二者间公平性的功率分配方案。以最大-最小准则作为公平性度量,构建D2D发射机和蜂窝用户发射功率联合优化模型,并采用最大-最小功率分配算法求解。进一步研究最小化联合中断概率的功率分配,首先导出联合中断概率的紧致上界对原问题松弛,然后提出一种次优功率分配方案。仿真结果表明,针对可达速率和联合中断概率的性能分析结果能够准确刻画全双工协作D2D系统的性能;与现有功率分配方案相比,两种功率分配方案能够显著提高系统的可达速率和中断性能。在残留自干扰被充分抑制的前提下,全双工协作下的系统性能优于半双工协作。