未来无线通信系统需要在保证业务服务质量(QoS)的同时,在有限的频带内提供更高的数据速率和频谱效率。多输入多输出(MIMO)技术充分开发空域资源,可以在不额外增加带宽和功率的条件下,成倍增加传输速率和大幅改善链路质量,它也因此被很多无线通信系统标准采纳,例如微波存取全球互通(WiMAX)和3GPP长期演进(LTE)。传统的分层设计方法难以适应动态变化的无线环境,很难保证用户多样和可变的QoS,针对该问题,论文重点对MIMO系统中的跨层设计进行了研究,主要包括以下几部分内容：首先,对引入自适应调制编码(AMC)技术的MIMO系统的跨层设计进行了研究。分析在业务随机到达以及链路层缓冲区长度有限的条件下,MIMO-AMC系统的分组排队特性。提出了一种以系统总丢包率最小化为目标的跨层设计。该跨层设计将问题的求解建模为马尔科夫决策过程,利用线性规划推导出最优的自适应传输策略。相对于传统AMC策略,所提跨层设计可以显著降低系统总丢包率。其次,将自动重传请求(ARQ)技术引入到MIMO-AMC系统的跨层设计中。在讨论传统跨层设计的基础上,分析了信道估计误差等实际系统限制条件对系统性能的影响,通过马尔科夫链稳态概率推导出系统吞吐量、丢包率以及平均时延的闭式解,提出了一种适用于实际MIMO系统的跨层设计。该跨层设计能够在满足业务QoS要求的基础上,最大化系统有效吞吐量。仿真结果验证了推导结果的准确性,并且相对于传统跨层设计,能够有效改善系统吞吐量。然后,针对无线通信系统实际上只能提供统计意义QoS保证的问题,利用有效带宽和有效容量理论,分析了物理层传输服务过程和链路层分组排队过程对MIMO系统中分组时延QoS的联合作用,推导出分组时延QoS违反概率的表达式。基于该表达式,提出一种MIMO系统中保证业务时延QoS条件下,最大化系统有效吞吐量的跨层设计。仿真结果表明,该跨层设计在系统信噪比较低时能显著改善系统性能。最后,对存在信道估计误差时MIMO系统中的自适应资源分配问题进行了研究。针对迫零接收MIMO系统,在给定系统错包率和发送总功率受限条件下,结合传统的空域注水定理和比特分配算法,提出了一种以系统有效吞吐量最大化为目标的功率分配与自适应调制算法,仿真结果证明,获得的系统总速率逼近于最优值,并且算法运算量适中；针对迫零发送MIMO系统,提出一种跨层自适应资源分配算法(Cross-layer Adaptive Resource Allocation Algorithm, CLARA),该算法在最大化系统有效吞吐量的同时还考虑了用户间的公平性。仿真结果表明,相对于传统的资源分配算法,CLARA能显著改善实际MIMO系统的有效吞吐量和用户间的公平性。论文最后总结了全文关于MIMO系统跨层设计的研究工作,指出了今后的研究方向。