当今的无线通信技术正朝着更高效、更快速、更可靠的方向发展。无线传输环境的不确定性和时变性,以及频谱资源的稀缺性和不可再生性,是必须应对的两大挑战。合作中继(cooperative relay)技术打破了传统蜂窝网单跳传输模式,使网路中的节点可通过寻找合作伙伴进行合作多跳传输,获得空间分集增益,有效对抗无线传输环境的不确定性。而感知频谱共享(cognitive spectrum-sharing)技术则使得感知终端通过对周边频谱环境的感知,自适应地调整系统工作频段或其他参数,以实现对时间-空间上频谱空洞的机会式接入,从动态频谱共享的角度有效地缓解了频谱资源稀缺性和不可再生性对无线频谱规划带来的压力。若将合作中继技术有效地引入感知频谱共享系统,利用感知用户之间的合作或感知用户帮助主用户传输来创造更多的频谱接入机会,则可进一步提高感知频谱共享系统的频谱利用率。本学位论文研究如何利用合作中继和感知频谱共享这两种新技术以及两者的结合为下一代无线通信网络提供更多、更好的传输机会。主要研究内容概括为以下三方面:对于合作中继系统,分别研究多用户单播网络中的合作伙伴(partner)选择问题,以及多用户多播广播(MBS)网络的增强的合作信源分集机制。对于多用户单播网络,分别研究了中心控制式网络和分布式网络下的伙伴选择问题。对于中心控制式网络,从数学上证明该问题可建模为在二分图上寻找完美匹配的问题,提出三种基于全局信息的中心式合作伙伴选择策略及其对应的最优求解算法,实现对系统有效性和公平性不同程度的优化,并验证了动态功率调控对提高系统频谱效用、增强用户间公平性的重要作用。对于分布式网络,基于节点信息的局部性,信道接入竞争性,以及节点能量有限性,提出基于竞争接入的功率自省(power-aware)机会式伙伴选择算法,最大化网络寿命。针对多用户多播广播(MBS)网络,提出了增强的合作信源分集机制,解决了合作MBS网络中的异构中继覆盖范围问题,并通过中继端对转发信号的重排列(permutation),获得空间信道分集增益,提高传输可靠性。对于感知频谱共享系统,首先提出了一种机会式功率控制策略,在保证主用户中断概率不发生变化的前提下,最大化感知用户的可达速率。其主要思想是机会式地利用主用户链路状况和感知用户至主用户的干扰链路状况寻找频谱接入机会。本论文分析了此功率控制策略下感知用户的平均可达速率,以及信道估计误差对主用户中断概率的影响,并提出改进的带有保护间隔的鲁棒机会式功率控制策略。在机会式功率控制策略的基础上,进一步考虑感知用户基于机会式干扰消除的机会式速率控制算法,并提出联合机会式功率和速率控制策略及浮动石块灌水算法,求得多信道场景下最大化感知用户总可达速率的最优功率和速率分配。对于合作中继技术与感知频谱共享技术相结合的系统,考虑感知用户与主用户合作以及感知用户之间合作两种情况。首先,针对感知用户可与主用户合作的系统,提出基于Rateless码的合作频谱接入机制,考虑主用户发送数据的突发性(burstiness)及其队列动态特性,从用户通过机会式中继主用户信息,使主用户队列空闲时间增多,从而获得更多频谱接入机会。提出三种传输协议,并分析了不同传输协议适合使用的区域。其次,针对感知用户间合作的系统,考虑大覆盖范围的从用户系统和小覆盖范围的主用户系统频谱共享的场景。针对此场景下主用户业务的空间分散性、随机性和时间突发性,提出简单译码转发(SDF)和缓存译码转发(BDF)两种中继传输协议,并证明SDF协议相对直接传输协议提供了“路损增益”,有效增加感知频谱接入机会,而BDF协议则在SDF协议的基础上进一步提供了“缓存增益”,有效减小传输的端到端时延。