现有移动通信网（2G/3G）、无线局域网（WLAN）、Ad-hoc网络、卫星网络等能够为用户提供多种多样的服务，但要同时满足多样化的服务质量要求，还需要充分利用不同网络间的互补特性。因此，异构网络融合是未来无线通信网络发展的必然趋势。而中继协作技术能够有效改善网络覆盖和可靠性，是未来异构无线通信网络的关键技术之一。本论文选择了异构中继协作网络的传输机制设计及资源优化管理问题开展研究，探索了未来移动通信网络的可能工作模式。针对长期难以解决的中继协作传输速率可能会低于直传链路容量的问题，提出了一种多载波中继协作译码转发传输机制，将宽带中继协作可达速率提升到可确保不低于直传链路容量的水平。该机制通过节点间传输时间复用和多载波联合编码，充分发挥了中继协作的转发距离优势，证明了中继协作除了可以改善覆盖和可靠性，还可以提高频谱效率，为中继协作技术的速率优势提供了理论依据。针对干扰信号动态变化的认知中继协作网络的实际场景，建立了干扰预测模型，提出了复杂度低、实时性强的MAC层频谱接入和物理层资源分配的联合优化算法，可实现大部分优化运算的离线操作，并大幅降低源节点和中继节点的计算负荷，保证了认知协作传输控制的实时性和最优性。针对频谱检测存在误差的认知中继协作网络的实际场景，首次发现并证明了检测误差概率函数（在通信、雷达领域广泛使用的特殊函数广义马库姆Q函数）为对数凹函数的数学性质，填补了对检测概率函数的解析性质认识的不足。该性质不仅从根本上解决了检测参数与传输参数的联合优化问题，提高了认知协作传输的鲁棒性，还可以在涉及该函数的优化问题求解的收敛性、最优性及实现算法等方面发挥重要作用，在常见指标如误码率、中断概率和检测概率的分析计算中也可以提供更精准和便利的上下界分析。针对大规模异构中继协作蜂窝网络所需要迫切解决的分布式控制问题，提出一种分布式联合优化理论框架，设计了功率分配、信道分配和中继链路选择的低复杂度、分布式联合优化算法，解决了集中式控制信息交互数据量大、实时性差和灵活性差问题，首次在不需要对优化问题进行近似的情况下，严格证明了中继协作网络中分布式资源分配的收敛性和最优性，为实际中继协作网络的分布式无线资源管理奠定了理论基础。