因为无线广播会引起无线信号间干扰，无线通信的广播特性在过去被普遍认为是对无线通信十分不利的因素。然而协同通信利用了无线媒介的广播特性来改善无线通信质量。当某一发送端发送信号给接收端时，其邻近的终端由于无线的广播特性也能够侦听到发送端的发送信号，若采用协作传输协议帮助信息传输，能够有效地改善系统传输速率和中断性能。因此协同通信引起了国内外学术界与工业界的广泛研究。本文基于信息理论和概率理论，围绕无线协同网络中的容量和中断性能进行研究，提出了协同网络中的编码策略，并且分析了它们实现的容量区域和中断性能。本文的主要研究内容及贡献如下：(1)物理层网络编码利用了无线电波的广播特性来减少数据传输的时隙，提升系统的传输速率。目前工作考虑无编码QAM调制系统，通过仿真系统的误码率来证明物理层网络编码能够改善网络性能，但不能反映编码系统的传输速率。针对运用比特交织编码调制（BICM）的物理层网络编码，本文运用信息理论分析该机制的可达传输速率，并且利用Turbo码的线性特性，提出了联合网络编码和Turbo码低复杂度编码机制。只要保证QAM信号嵌套，该机制能应用于信道增益随机分布的衰落信道。通过理论分析和仿真结果表明：物理层网络编码在高信噪比情况下能够逼近信道容量的上界，并且联合网络编码和信道编码机制能够逼近物理层网络编码实现的信道容量极限。(2)随机码没有良好的结构性，因此联合网络编码和随机信道编码机制获得次优的传输速率。利用Lattice码的结构，本文针对双向中继信道提出了基于前向解码（DF）协议的方形Lattice编码机制。方形Lattice码虽然导致大约0.25bits/传输的速率损失，但降低了Lattice编码的复杂度。通过理论分析表明，基于DF协议的Lattice编码机制与随机编码相比能够获得更大的数据传输速率，但是此协议仅仅适用于需要通过反馈完全信道状态信息机制来保证输入中继节点的信道增益相等和相位同步的无线通信场景，这增加了系统实现的成本和要求。因此本文进一步提出了适用于衰落信道的基于前向放大（AF）协议的Lattice编码机制。通过对中继节点接收信号进行模操作，降低中继节点接收信号的功率，获得更大的前向放大因子来提升传输速率。由于该机制不需要反馈机制，从而降低了系统的实现要求。分析表明：当中继节点的输入信道增益差异大时，基于AF协议的Lattice编码机制要优于其它协议。(3)蝶形网络建模中继节点“帮助”两相邻小区与两用户通信的通信场景，目前该系统的中断性能没有被研究。另外，需要完全信道状态信息的功率和速率分配机制不适用于一些实际应用场景，例如当从接收端到发送端的信道容量较小时，系统不能正确反馈完全信道状态信息导致这些机制不能正常工作。如果使用部分信道状态信息实现功率和速率分配能有效地改善传输质量。本文推导出蝶形网络中正交前向放大（OAF）、非正交前向放大（NAF）协议实现的中断概率闭式表达式，并且以最小化中断概率为目标提出基于信道统计特性的功率和速率分配算法。通过仿真表明：中断概率的理论分析结果与仿真结果在高信噪比下几乎重合，并且功率和速率算法能够获逼近最优的优化算法。(4)模拟网络编码（ANC）协议要求中继节点仅仅放大接收信号然后转发的简单信号处理，因此ANC协议被广泛研究。目前ANC协议的中断概率分析是基于两个信源交换信息的双向中继信道，这些结论不能直接推广到通用的任意信源数目的协同网络中。本文基于多源多宿分享单中继系统，推导出了每个信源节点中断概率闭式表达式和ANC协议实现的DMT性能。通过分析结果和仿真结果表明：中断概率的理论分析结果在高信噪情况下逼近仿真结果，没有假设条件下的ANC协议与理想假设条件下（假设每个目的节点能够可靠侦听到其它信源节点的信息）基于XOR网络编码协议实现相同的DMT性能。(5)获得复杂协同传输协议精确的可达传输速率和中断性能是非常困难的，所以协同网络的传输速率和中断概率渐近分析成为重要的分析手段。DMT性能通过分集（在高信噪比情况下渐近中断概率）和复用增益（在高信噪比情况下渐近容量）来表示数据传输速率和中断概率之间的折衷关系，是衡量协同通信协议的一项重要指标。目前基于双向中继系统的DMT性能分析工作是假设两个信源发送相同的数据速率，这是不实际的。本文基于双向中继多天线系统，考虑两个信源节点以不同的数据速率发送信号的通信场景，分别推导出OAF、正交前向解码（ODF）、NAF、非正交前向解码（NDF）和动态前向解码（DDF）协议实现的DMT性能的闭式表达式，并且通过分配每个节点的发送时间来最大化OAF、NAF、ODF和NDF协议的DMT性能。通过理论分析结果表明：NDF和NAF协议分别要优于ODF协议和OAF协议，这是因为非正交传输花费了较少的时隙传输数据；在低的复用增益区域内，DDF协议能够获得最优的DMT性能，而在高复用增益区域内，NAF协议通过使用干扰消除方法获得较好的DMT性能，这是因为DDF协议要求中继节点解码出两信源信号，两路信号的干扰在高复用增益区域导致了DMT性能的损失。