现有移动通信系统的分层结构决定了各子层技术只能保证局部最优的系统性能,跨层优化设计打破了传统的层次结构,对各子层的关键技术进行联合优化,以求达到全局最优的系统性能。跨层优化设计在下一代无线通信系统网络融合和技术融合中扮演着重要角色,甚至可以催生新的适合于无线通信的系统架构。本文主要针对跨层功率分配、多天线系统跨层建模、无线传感网络跨层优化等课题开展研究,并结合第四代移动通信系统的标准化工作对多天线检测和多基站协作等关键技术开展研究。本文的主要工作简介如下：首先研究了单天线系统跨层功率分配问题,运用马氏决策优化理论和双参数估计方法分别得到了最优和次优的基于队列信息的跨层功率分配策略。在无平均排队时延的系统中,长期平均发送功率一定的约束下以最小化系统丢包率为目标,得到最优的关于队列长度敏感的跨层功率分配策略。其中关键的步骤是在给定物理层目标丢包率的前提下得到最优的发送功率向量,此问题称为“内”问题。不同于传统方法的多维度优化方法,该“内”问题与平均报酬马氏决策过程问题密切相关,当把“内”问题松弛为后者,可以利用等效的线性规划模型实现问题的高效求解。由于平均报酬马氏决策过程问题解的随机性很小,因此提出了两种近似的确定性策略来消除随机性,仿真结果表明近似确定性策略的性能损失不明显。同时,从最优策略的解空间出发,提出了两种次优低复杂度的双参数功率分配策略。在上述模型的基础上又加入了平均排队时延约束,分析了时延约束对各跨层功率分配策略性能的影响。其次研究了多天线系统跨层建模问题,分析得到联合自适应调制、分层空时多天线结构及有限长队列模型的跨层系统性能。当系统考虑了有限长队列模型时需要重新设定自适应调制的切换门限,这时对系统的跨层性能分析显得十分必要。从分层空时结构检测后信噪比的联合概率分布出发,得到了基于自适应调制分层空时结构的服务速率分布函数,为上层的离散马尔科夫建模提供了精确的物理层接口。同时通过三个例子展示了分析结果在跨层设计中的应用。再次研究了多天线迭代接收机检测技术,提出了一种基于球形译码的低复杂度分步检测算法。通过星座拆分原理把高阶调制的正交幅度调制系统拆分成多个并行的正交相移键控子系统,每个子系统用高效的软球形译码算法计算各比特的对数似然比。然后研究了无线传感网能耗最优跨层优化问题,对多电平正交幅度调制的误比特率性能低估做了补偿处理,得到了一种改进的无线传感网跨层能耗模型,并证明了改进模型仍具有凸优的性质。分析发现改进模型增加的优化复杂度可忽略。仿真结果显示改进模型可以取得更优的能耗性能。最后研究了多基站协作通信系统的时频资源分配问题,提出了一种基于双时隙类型的频率规划方案。多基站协作通信系统中,协作小区与实际小区在拓扑上交错重叠,使得多基站协作系统的时频资源分配问题异常复杂。双时隙类型的频率规划方案解决了小区边缘用户得不到最优三个基站同时服务的问题,有效提升了边缘用户的通信链路质量。