协作通信技术和认知无线电技术被认为是应对未来无线通信发展两大问题的重要技术,是目前通信研究的热点。协作通信技术允许系统中的用户节点中继协作伙伴的信息到目的节点来进行协作。通过这样的技术,用户节点可以有效地形成一个分布式天线阵列以获得的空间分集增益。认知无线电技术,通过采用动态频谱分配法,动态地调整传输功率、载频、调制等参数使认知节点在不影响授权用户的前提下利用其空闲频谱进行通信,提高了现有频谱的利用率,可以解决频谱资源稀缺的问题。在这种背景下,本文结合网络编码技术和博弈理论对协作网络中的协作通信模式做了系统性的研究。并在无线协作网络中,对协作频谱感知的节点选择策略问题进行了研究。首先介绍了协作通信中基本解码转发协作模式和基本放大转发协作模式的传输过程,为后续研究奠定基础。以三节点协作通信系统模型为基础,详细阐述了不同协作模式的工作过程,分析了各个方案在目的节点采用不同合并方式的中断概率性能,并对各种模式下的不同合并方式进行了仿真。在无线协作网络的三节点协作通信模型中,研究了一种基于伪物理层网络编码的放大转发协作模式。介绍了该协作模式的协作过程,给出了详细的信号处理过程和信号表达式。通过对系统中断概率的分析和仿真验证,证明了该协作模式能够有效提高协作通信的中断概率性能。并且在该协作模式研究的基础上提出了一种改进方法。具体分析了协作通信中分集阶数与中断概率的关系,通过改进第二阶段中继节点采用的伪物理层网络编码的设计,提高了系统的分集阶数,进而改善了系统的中断概率。通过计算机仿真验证,提出的协作模式能够更有效的提高系统的中断概率性能。对博弈论中的议价问题与无线协作网络相结合做了研究,提出一种基于纳什谈判解的协作通信方案。首先分析了无线通信系统的效用,进而提出了一个有明确物理意义的无线通信系统效用函数。在对称无线协作通信网络系统模型中应用该效用函数,分析了无线协作通信网络中的理性节点进行协作的行为,并将它规划成二人议价问题,通过寻找纳什议价解来进行协作资源分配。计算仿真结果验证,该方案与节点分别独立传输相比,能够获得更佳的系统性能。进一步分析了节点具有不同的议价能力时的情况,讨论了公平性问题。该方案既是对协作模式的研究,也是对节点选择问题的研究。研究无线协作网络中进行频谱感知的节点选择策略问题,提出一种基于信噪比的多门限协作频谱感知方案。介绍了认知无线电系统中本地频谱感知的基本方法,分析了使用能量检测技术作为本地频谱感知技术的优势。根据协作频谱感知的系统模型,分析了协作频谱感知技术采用不同融合准则做出系统检测结果的方法。通过计算仿真说明了在协作频谱感知中进行节点选择的重要性。设计了效用函数,并分析了通过最大化效用函数来求解最佳单门限的方法。详细阐述了该方案的感知过程。通过计算机仿真结果的分析表明,基于信噪比的多门限协作频谱感知方案能够提高系统的检测概率性能。