在LTE-B (Long Term Evolution Rel.12)以及未来5G (5th Generation Mobile Networks)网络中,如何扩展基站的覆盖范围对通信行业来说始终是一个研究热点。协作中继网络可以有效扩大无线通信系统的覆盖范围,提高无线链路的通信质量,被认为是5G移动通信系统的核心技术之一。随着微蜂窝甚至微微蜂窝在5G网络中的部署应用,小区范围不断缩小,中继节点发射功率小、部署灵活等特点使得其非常适合于5G网络。因此,在未来5G网络中,协作中继技术将会起到举足轻重的作用。当前协作中继技术研究主要以系统容量最大化为优化目标,而针对网络能量效率来设计网络架构和资源分配算法的相关研究尚未深入。在考虑网络整体能效最大化的同时,用户可能要牺牲自己的利益,此时必须兼顾网络性能和自私用户的公平性,而多目标优化和博弈论是解决自私用户协作行为的有效工具。本文将在保障QoS (Quality of Service)的前提下,运用多目标优化及博弈论等数学方法,深入开展协作中继网络的资源分配算法及物理层网络编码(Physical Network Coding,PNC)问题的研究。针对非对称协作中继网络的功率分配问题,本文通过引入多目标进化算法,提出了一种多源多中继网络协作功率分配策略。首先,将单目标自由搜索算法拓展到多目标优化领域,提出了多目标自由搜索算法(Multi-Objective Free Search, MOFS),并通过性能分析及数值实验验证了该算法对多目标优化问题的有效性；其次,以最大化各源节点的有效接收信噪比为目标,设计了适用于多目标自由搜索算法的效用函数和编码方案,在中继功率受限的条件下,通过MOFS算法,实现了协作中继功率资源的有效分配：最后,仿真实验结果验证了所提出策略的有效性。同时,该功率分配策略还可根据不同业务需求,通过合理选择Pareto最优解(Pareto Optimality),以得到不同的优化配置方案,提高了网络的适用性。物理层网络编码理论的提出为协作中继网络进一步提高传输容量提供了新的思路。本文针对双向协作中继信道场景,研究了基于Lattice编码(Lattice Coding)的计算转发(Compute and forward,CPF)物理层网络编码方案,以计算速率最大化为目标,提出了一种有效的双向协作中继信道计算转发编码系数向量搜索算法。针对双向协作中继信道中计算转发编码工作方式的特点,将中继节点的编码系数向量优化问题建模为带有二次约束的整数二次规划模型；针对该优化问题的特点提出了一种提升凸松弛割平面法,该搜索算法通过提升、凸松弛、生成割平面等步骤将原优化问题转化为较易求解的新松弛规划问题,通过对松弛规划问题的求解能有效获取原问题的最优解。仿真结果表明,本文所提出算法能有效获取中继节点的最优编码系数向量。在双向协作中继信道计算转发编码方案的基础上,本文继续深入研究了上行多址接入协作中继信道(Multiple Access Relay Channel, MARC)的物理层网络编码方案,从多目标优化的角度出发,提出了一种MARC计算转发编码方案的中继节点选择及系数向量搜索策略。在MOFS算法的基础上对搜索策略进行了改进,提出了一种混合整数MOFS算法,并通过标准多目标旅行商问题(Multi-Objective Travelling Salesman Problem, MOTSP)验证了该算法的有效性；针对中继节点过剩的协作中继网络场景,通过对所有可能参与协作的中继节点进行综合考虑,从系统级的角度对网络性能进行整体优化,提出了一种基于混合整数MOFS的中继节点选择及编码系数向量搜索策略,在保障所选取的中继节点系数向量矩阵满秩的前提下,以最大化最小计算速率和最大化网络和速率为优化目标,寻优结果同时实现了中继节点的选择及计算转发编码最优系数向量的搜索。仿真结果验证了所提出算法的有效性。关于协作中继网络资源分配的已有研究成果大多是针对非对称协作中继网络。本文针对对称协作中继网络的节点自私特性,提出了一种基于非协作博弈论的带宽资源分配算法。以非协作博弈论为工具,建立了一种带有竞价机制的对称协作中继网络博弈模型(Symmetric Cooperative Relay Game, SCRG),通过建立有效的激励机制,使得自私节点能通过协作资源的共享而获得公平的回报,从而积极参与协作传输；引入分布式纳什均衡(Nash Equilibrium, NE)搜索算法,通过理论推导给出了该分布式算法的收敛条件。仿真结果表明,本文所提出的博弈方法,可以合理有效地解决对称协作中继网络的协作带宽分配问题。