无线协同中继技术是一种新的空间分集解决方法,它克服了多天线技术(MIMO)在实际应用中的限制,不仅可以扩展网络的覆盖范围,还可以利用空间分集效应来获得容量增益,引起了宽带无线通信领域的重视。然而,无线协同中继技术侧重于采用分集来抵抗多径衰落,对于提高系统的传输容量作用有限。而网络编码技术(Network Coding)作为一种从理论上可以达到组播传输(Multicast)容量上限的全新技术,恰好弥补了无线协同中继技术的不足。因此,将无线协同中继技术与网络编码技术相融合,二者优势互补,可进一步提升系统的整体传输性能。因此,基于网络编码的无线协同中继技术具有极为广阔的研究和发展前景。除了可以显著提高网络的传输容量,网络编码还是一种增强系统安全性和可靠性的好方法。然而,网络编码通过中间节点对信息进行编码再转发的机制,会因数据包的丢失、篡改和失效等问题面临新的挑战；并且,协同中继网络中大量引入的中继节点,也会使网络更容易遭受外部恶意的窃听。然而,无论是传统的基于密钥的安全机制还是网络编码机制都不能保证无线通信的绝对安全,因此,人们开始关注一种基于信息论的无条件安全理论——无线物理层安全。这一安全理论的建立,为通信安全开辟了一个新的研究方向。本文在基于模拟网络编码(ANC)的无线协同中继传输方案的基础之上,以信道容量和窃听信道的安全容量问题作为主要研究对象,进行了如下几个方面的研究：(1)在无线协同中继系统中融合网络编码技术的初衷,是为了能够利用其显著提高网络传输容量的优良特性。因此,首先论文以信道容量作为主要研究对象,针对两种典型的无线协同中继应用场景(双向中继信道和上行多址接入协同中继信道),分别设计了不同的基于ANC的无线协同中继传输方案；并详细描述了其信号传输和编／解码的过程,及如何缩减传输时隙数；然后,理论推导出了不同方案的信道容量表达式；最后,通过数值计算与仿真,比较和分析了ANC技术在提高无线协同中继系统信道容量性能方面的技术先进性。(2)尽管仿真结果证明了在不同的应用场景下,无线协同中继系统中采用ANC技术均可以获得显著的信道容量性能增益,但是该性能增益同时还受到了信噪比(SNR)、中继位置和ANC噪声累积负效应的影响。因此,论文为了降低以上因素对ANC性能增益的影响,在系统资源受限的前提下,采用优化无线资源分配的方法,分别提出了两种无线协同中继应用场景下,以最大化系统信道容量为目标的最优功率分配方案；并通过数值仿真,分析了最优功率分配方案为提高系统信道容量性能所带来的增益。(3)网络编码还是一种增强系统安全性和可靠性的好方法,然而它还是无法保证无线通信的绝对安全,而且当窃听者位于某些特定位置时,网络编码毫无安全性可言。因此,论文以窃听信道的安全容量特性作为另一主要研究对象,以双向中继窃听信道作为分析场景,首先理论推导出了基于ANC的双向中继窃听信道安全容量表达式；然后,通过数值仿真,分析了影响该系统安全容量特性的主要因素：包括窃听者距被窃听节点的距离、角度及节点功率分配策略；最后,根据影响因素分析结果,提出了提高ANC双向中继窃听信道安全容量特性的两种策略：包括调整节点功率分配和利用噪声累积负效应,并通过仿真分析了调整节点功率分配的策略对于提高系统安全容量特性的效果。(4)针对论文提出的提高ANC双向中继窃听信道安全容量特性的第二种策略——利用噪声累积负效应,论文按照无线物理层安全的观点,采用协同干扰机制(Cooperative Jamming),以双向中继窃听信道作为分析场景,分别设计了基于中继干扰和节点干扰的几种不同的协同干扰传输方案,并详细描述了其信号传输和编／解码过程,及如何引入主动干扰来抑制窃听；然后,理论推导出了不同方案的窃听信道安全容量表达式；最后,通过数值仿真,分析了协同干扰方案为提高窃听信道安全容量特性所带来的增益。